Shuffle

map 端
1. 每个 map 有一个环形内存缓冲区，用于存储任务的输出。默认大小 100MB （ io.sort.mb 属性），一旦达到阀值 0.8 （ io.sort.spill.percent ） , 一个后台线程把内容写到 (spill) 磁盘的指定目录（ mapred.local.dir ）下的新建的一个溢出写文件。

2. 写磁盘前，要 partition,sort 。如果有 combiner ， combine 排序后数据。

3. 等最后记录写完，合并全部溢出写文件为一个分区且排序的文件。


Reducer端

1. Reducer 通过 Http 方式得到输出文件的分区。

2. TaskTracker 为分区文件运行 Reduce 任务。复制阶段把 Map 输出复制到 Reducer 的内存或磁盘。一个 Map 任务完成， Reduce 就开始复制输出。

3. 排序阶段合并 map 输出。然后走 Reduce 阶段。

个人理解就是 mapReduce 运行过程