Hadoop
CasinX
这个作者很懒,什么都没留下…
展开
-
关于Hadoop学习的感悟(一)
Hadoop学习感悟(一)Hadoop的安装Hadoop在Linux下安装相对较为简单。具体可参考网上的安装教程,也可直接到Apache网站上找到安装指南。这里需要注意的是找对Hadoop的版本和对应的安装教程例如Hadoop 2.5.2的Apache文档可以直接到地址找到安装教程(个人感觉Apache的安装教程较为清楚,所以如果有条件还是按照官网的来吧)。吐槽-,-可以说对Map-Reduce的理原创 2015-06-27 14:42:43 · 8594 阅读 · 0 评论 -
Hadoop学习感悟(二)
对上次存在的疑问进行记录,这里引用一篇博文的一部分:下面我从逻辑实体的角度讲解mapreduce运行机制,这些按照时间顺序包括:输入分片(input split)、map阶段、combiner阶段、shuffle阶段和reduce阶段。 输入分片(input split):在进行map计算之前,mapreduce会根据输入文件计算输入分片(input split),每个输入分片(input spli原创 2015-06-30 15:27:54 · 1263 阅读 · 0 评论