海螺里的风

hadoop MapReduce实例解析

MapReduce编程模型 MapReduce采用”分而治之”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是”任务的分解与结果的汇总”。 在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker;另一个是Ta […]

Hadoop 的安装

Hadoop 的安装 1、实现 linux 的 ssh 无密码验证配置. 2、修改 linux 的机器名,并配置 /etc/hosts 3、在 linux 下安装 jdk,并配好环境变量 4、在 windows 下载 hadoop 1.0.1,并修改 hadoop-env.sh,core-site.xml, hdfs-site.xml, mapred-site.xml,masters,slaves […]

Apache Hadoop 简介信息

Hadoop是项目的总称。主要是由HDFS和MapReduce组成。 HDFS是Google File System(GFS)的开源实现。 MapReduce是Google MapReduce的开源实现。 这个分布式框架很有创造性,而且有极大的扩展性,使得Google在系统吞吐量上有很大的竞争力。因此Apache基金会用Java实现了一个开源版本,支持Fedora、Ubuntu等Linux平台。雅 […]