hadoop的三大核心组件之MapReaduce

Hadoop的三大核心组件之MapReaduce

MapReduce是什么？

MR是一个分布式计算框架，它是Hadoop的一个程序，不会产生进程。

MR部分需要结合代码来理解学习，由于代码篇幅原因不方便截图，代码已经贴到github上，注释也挺详细，有需要的朋友可以去看，传送门：https://github.com/ZzzzZzreal/HadoopKeyPoints

(DATA文件夹是代码测试使用的数据，RESULT文件夹是代码测试结果)

======================================================================

A、自定义序列化类

代码及注释参见--https://github.com/ZzzzZzreal/HadoopKeyPoints/blob/master/HadoopKeyPoints/src/main/java/MyComparator.java

有时候，默认的数据类型不能满足我们的需求时，需要我们自定义序列化类，实现WritableComparable。在自定义的序列化类中，最重要的是重写compareTo方法以及序列化反序列化方法。序列化和反序列化的内容需要重点关注，容易犯低级错误。

★二次排序：compareTo方法也可以实现二次排序的功能，但会产生大量的序列化反序列化实例，浪费资源；比较优化的方法是在自定义序列化类中的一个静态内部类--Comparator，继承WritableComparator，在这个类中的compare方法中写排序的逻辑。需要对这个内部类进行注册。

B、Mapper---Mapper对来的每一条数据进行一次计算（这里的计算指的时代码逻辑，这句话的意思就是每来一条数据走一次map方法）

代码及注释--h