按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 89
leniz | 2017-04-14 00:03:27 | 阅读(0) | 评论(0)
Technorati 标签: hadoop ORIGINALLY PUBLISHED JANUARY 2012 Apache hadoop is an excellent framework for processing, storing and analyzing large volumes of unstructured data - aka Big Data. But getting a handle on all the project’s myriad components and sub-components, with names like Pig and Mahout, can be a diffi【阅读全文】
chenfeng | 2017-03-27 17:38:10 | 阅读(30) | 评论(0)
HDFS是设计来存储和管理大数据的,因此典型的HDFS块大小明显比平时我们看到的传统文件系统块大得多,块大小的设置用来将大文件切割成一个数据块,再将这些数据块分发到集群上,例如集群的块大小设置为64MB,一个128MB的文件上传到HDFS上,HDFS会将这个文件切分成2(128/64)个数据块,再将这两块数据分发到集群的数据节点上。 设置块大小: 打【阅读全文】
babyyellow | 2017-03-16 15:03:23 | 阅读(0) | 评论(0)
hadoop 的日志 是log4j 负责的. 但是看文档之后发现, log4j 的配置是会被覆盖掉的. 那么就要去哪里覆盖的. 找到了几个地方. hadoop-env.sh 里有关于日志级别的配置. 把info 级别改为WARN 级别. 然后hadoop-daemon.sh 里也有关于日志级别的 环境变量. 需要. 【阅读全文】
【Linux】 安装hadoop要领
子阙 | 2017-03-13 00:39:52 | 阅读(0) | 评论(0)
1、安装JDK tar -zxvf jdk-7u75-linux-i586.tar.gz -C /root/training/ vi ~/.bash_profile JAVA_HOME=/root/training/jdk1.7.0_75 export JAVA_HOME PATH=$JAVA_HOME/bin:$PATH export PATH source ~/.bash_profile 修改这个vi /etc/selinux/config SELINUX=disabled 可以查看环境变量 vi /etc/profile Had【阅读全文】
chenfeng | 2017-03-02 13:08:45 | 阅读(30) | 评论(0)
hadoop家族产品学习线路图 简单产品介绍: Apache hadoop: 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。 Apache Hive: 是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门【阅读全文】
chenfeng | 2017-03-01 09:51:13 | 阅读(0) | 评论(0)
Interface 说明 Cell HBase中的存储单元包括以下字段: 1) row 2) column family 3) column qualifier 4) timestamp 5) type 6) MVCC version 7) value0 【阅读全文】
【大数据】 hadoop与Spark的比较
chenfeng | 2017-02-27 14:27:23 | 阅读(30) | 评论(0)
hadoop框架的主要模块包括如下: hadoop Common hadoop分布式文件系统(HDFS) hadoop YARN hadoop MapReduce 虽然上述四个模块构成了hadoop的核心,不过还有其他几个模块。这些模块包括:Ambari、Avro、Cassandra、Hive、 Pig、Oozie、Flume和Sqoop,它们进一步增强和扩展了hadoop的功能。 【阅读全文】
luckyfriends | 2017-01-10 00:09:02 | 阅读(0) | 评论(0)
http://www.transwarp.io/news/detail?id=130 【阅读全文】
xiaoyan5686670 | 2016-09-06 22:21:26 | 阅读(0) | 评论(0)
参考了:http://www.tuicool.com/articles/qY7F3q 插件名称:hadoop2x-eclipse-plugin 插件地址:https://github.com/winghc/hadoop2x-eclipse-plugin 1.下载并解压hadoop2.x,下载地址http://hadoop.apache.org/releases.html#Download(我下载的是编译好的包) 2.下载并解压eclipse(我的是4.5.2版本【阅读全文】
xiaoyan5686670 | 2016-09-06 22:06:25 | 阅读(270) | 评论(0)
hadoop异常:An internal error occurred during: “Map/Reduce location status updater”. java.lang.NullPointerException; 原因:在new hadoop location时配置不正确,本人正确配置: DFS master : 的端口为: /opt/hadoop-2.6.2/etc/hadoop/core-site.xml <property> <name>fs.defaultFS</name> <val【阅读全文】
hackeruncle | 2016-06-26 12:35:52 | 阅读(120) | 评论(0)
在安装部署的时候,遇到了问题 Unable to load native-hadoop library 原因1:64位linux使用了32位的hadoop native本地库 [root@hadoop-001hadoop-2.4.1]# hadoop fs -ls / 14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applica【阅读全文】
hackeruncle | 2016-06-26 12:29:39 | 阅读(60) | 评论(0)
1.从哪些地方可以识别hadoop是32位还是64位? 2.hadoop本地库在什么位置? hadoop在安装的时候,我们需要知道hadoop版本是32位还是64位。 hadoop官网本来提供的都是32位,因为我们大部分都是64位,所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。 为了防止我们用错,下面我们来实际操作和观察。 我们来从官网下载【阅读全文】
hadoop_2015 | 2015-12-04 21:33:21 | 阅读(780) | 评论(0)
亲爱的itpuber:欢迎您在ITPUB博客安家,您的博客地址是:30613674/我们是一个IT技术的技术家园,每一个IT技术人员都能在这里找到与您志同道合的知音。您可以用文字、图片记录分享您的IT技术、职场经验和个人成长经历等,随时随地发表博文和上传图片分享您的技术成果,还可以在ITPUB博客平台上与网友交流和分享。我们为您【阅读全文】
hadoop70 | 2015-11-13 14:13:21 | 阅读(810) | 评论(0)
亲爱的itpuber:欢迎您在ITPUB博客安家,您的博客地址是:30568359/我们是一个IT技术的技术家园,每一个IT技术人员都能在这里找到与您志同道合的知音。您可以用文字、图片记录分享您的IT技术、职场经验和个人成长经历等,随时随地发表博文和上传图片分享您的技术成果,还可以在ITPUB博客平台上与网友交流和分享。我们为您【阅读全文】
babyyellow | 2015-11-03 15:36:00 | 阅读(1290) | 评论(0)
安装搭建hadoop 2.7.1不在支持jdk 1.6 了,采用了jdk1.7.0_45. 在系统搭建后后出现一个奇怪的现象. hadoop 日志,hhbase 等这些java 应用的日志无一例外的都采用了UTC 时间,而不是东8区. [code] 2015-11-03 06:24:16,129 INFO [master/hadoop52/192.168:16000-SendThread(hadoop54:2181)] [/code] 【阅读全文】
初识hadoop | 2015-10-30 11:31:27 | 阅读(780) | 评论(0)
亲爱的itpuber:欢迎您在ITPUB博客安家,您的博客地址是:30546731/我们是一个IT技术的技术家园,每一个IT技术人员都能在这里找到与您志同道合的知音。您可以用文字、图片记录分享您的IT技术、职场经验和个人成长经历等,随时随地发表博文和上传图片分享您的技术成果,还可以在ITPUB博客平台上与网友交流和分享。我们为您【阅读全文】
leoHadoop | 2015-09-07 08:18:28 | 阅读(780) | 评论(0)
亲爱的itpuber:欢迎您在ITPUB博客安家,您的博客地址是:30461323/我们是一个IT技术的技术家园,每一个IT技术人员都能在这里找到与您志同道合的知音。您可以用文字、图片记录分享您的IT技术、职场经验和个人成长经历等,随时随地发表博文和上传图片分享您的技术成果,还可以在ITPUB博客平台上与网友交流和分享。我们为您【阅读全文】
flzhang | 2015-09-01 16:01:41 | 阅读(1650) | 评论(0)
<p> 经常使用工具自动构建大规模集群环境,小环境也有10几台的机器,虽然自动部署很省事,但自动构建的背后那些机器自动完成的工作让我们疏忽了,特别是要自己构建一个小集群用于了解搭建细节和原理还是很有帮助的,今天为复习和了解下hadoop各进程间协调运行的原理,搭建了一个3节点的机器,并记录自己的搭建过程。<br /> 一 【阅读全文】
Hadoop123456 | 2015-07-22 10:45:06 | 阅读(780) | 评论(0)
亲爱的itpuber:欢迎您在ITPUB博客安家,您的博客地址是:30363210/我们是一个IT技术的技术家园,每一个IT技术人员都能在这里找到与您志同道合的知音。您可以用文字、图片记录分享您的IT技术、职场经验和个人成长经历等,随时随地发表博文和上传图片分享您的技术成果,还可以在ITPUB博客平台上与网友交流和分享。我们为您【阅读全文】
hadoopstudy | 2015-07-19 17:53:23 | 阅读(780) | 评论(0)
博评网