MapReduce之全流程讲解

周末心情好，来理下整个MapReduce的工作流程，方便记忆和理解。

hadoop四大组件之一的MapReduce分布式计算系统，和HDFS-分布式存储系统，YARN-分布式操作系统（主要负责资源调度，相当于操作系统）三分天下，那么我们就将数据从HDFS输入到最后输出到HDFS来详细聊一聊Mapreduce的工作机制。

首先，上图。光说不上图都是耍流氓。数据的供给交给HDFS，资源的调配交给YARN，对数据进行鬼斧神工处理的部分就交给mapreduce了。mapreduce一般来说，可以细分为十大组件，分别为：TextInputFormat，LineRecorderReader, Mapper，shuffle（partition，sort，combiner），GroupComparator，Reducer，LineRecorderWriter，TextOutputFormat。首先我们对这是个组件做一个大概的解释：

TextInputFormat和LineRecorderReader，输入组件，主要负责从HDFS读取数据，默认是一个文件一行一行的读取，获取的数据进入map进行处理。

LineRecorderWr