MapReduce 工作流程

        对待处理的文件进行切片分析，0-128一片，128-200第二片，客户端还会准备三样东西:job的切片信息，jar包以及xml配置文件。客户端向yarn提交，yarn会开启MrappMaster，MrappMaster会读取这三个信息。yarn会根据你的切片个数，对应地开启maptask的个数。

        maptask开始工作，开启Inputformat，Inputformat用recordreader方法按行读取里面的内容，读完之后输出<k,v>给Textinputformat里的reader读，k是对应的偏移量，v是对应的一行数据，读完之后直接给mapper，mapper里面是用户自己写的业务逻辑。然后数据输出到shuffle阶段......

        MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中，从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件，多个溢出文件会被合并成大的溢出文件，在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序，ReduceTask根据自己的分区号，去各个MapTask机器上取相应的结果分区数据 ，ReduceTask会抓取到同一个分区的来自不同MapTask的结果文件，ReduceTask会将这些文件再进行合并（归并排序），合并成大文件后，Shuffle的过程也就结束了，后面进入ReduceTask的逻辑运算过程（从文件中取出一个一个的键值对Group，调用用户自定义的reduce()方法。