Hadoop
文章平均质量分 81
mmい
这个作者很懒,什么都没留下…
展开
-
Hadoop(一)——安装以及整体了解
安装折腾了好久最后在这篇文章的指导下完成了Hadoop伪分布式安装,感谢!重要概念在阅读《Hadoop实战》时觉得比较重要的一些概念记录下来。1.MapReduce编程模型的原理 利用一个输入的[key,value]集合来产生一个输出的[key,value]集合:用户自定义的Map函数接收一个输入的[key,value]集合,然后产生一个中间[key,value]集合,MapReduce把所有具原创 2016-12-02 13:55:55 · 464 阅读 · 0 评论 -
Hadoop(二)——WordCount运行和解读
执行WordCount程序1.以hadoop用户进入到linux系统2.启动hadoop3.在home目录下创建一个file文件夹,”~/”表示在home目录下,”/”表示在根目录下。并且在文件夹file内创建两个文本文件file1.txt和file2.txt.4.在HDFS上创建输入文件夹。调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式,因为环境变量原创 2016-12-13 15:05:38 · 4809 阅读 · 0 评论 -
Hadoop(三)——利用MapReduce求平均成绩
环境配置在linux中使用Eclipse编译运行MapReduce程序请参考这篇文章数据集输入数据集每一行是学生的名字和学生的成绩(一个学生可有多门学科成绩); 在本地生成file1.txt file2.txt file3.txt三个文件并且上传到hdfs上的averageScore文件夹; 源代码 public static class Map extends Mapper<LongWr原创 2016-12-18 14:10:45 · 7127 阅读 · 1 评论