MapReduce Shuffle 参数调优【转载】

MapReduce Shuffle性能调优

MapReduce shuffle过程剖析及调优

MapReduce的shuffle过程详解

Map阶段

-- 环形缓冲区大小，默认100
set mapreduce.task.io.sort.mb = 200;

-- 环形缓冲区溢写阈值，默认0.8
set mapreduce.map.sort.spill.percent = 0.9;

-- 并行处理spill的个数，默认10
-- 增大merge的文件数目，减少merge的次数
set mapreduce.task.io.sort.factor = 20；

-- maptask内存，默认1g； maptask堆内存大小默认和该值大小一致mapreduce.map.java.opts -->
set mapreduce.map.memory.mb = 20480;
set mapreduce.map.java.opts = 20480;

-- matask的CPU核数，默认1个
set mapreduce.map.cpu.vcores = 1;

-- matask异常重试次数，默认4次 -->
set mapreduce.map.maxattempts = 20;

 

环形缓冲区

• 其作用是用空间换时间
• 把一个缓冲区当成一个圆形的结构，这样当从里面读取数据和插入数据的时候，都不用重新释放空间和重新分配空间

spill

• 当写入的数据超过缓冲区设定的阈值时，需要将缓冲区的数据写入到磁盘，这个过程叫 

Combiner

• 每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量
• combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度 

 

 Reduce阶段

-- 每个Reduce去Map中拉取数据的并行数。默认值是5
set mapreduce.reduce.shuffle.parallelcopies = 10;

-- Buffer大小占Reduce可用内存的比例，默认值0.7
set mapreduce.reduce.shuffle.input.buffer.percent = 0.8;

-- Buffer中的数据达到多少比例开始写入磁盘，默认值0.66。
set mapreduce.reduce.shuffle.merge.percent =0.75

-- reducetask内存，默认1g；reducetask堆内存大小默认和该值大小一致mapreduce.reduce.java.opts
set mapreduce.reduce.memory.mb = 20480;
set mapreduce.reduce.java.opts = 20480;

-- reducetask的CPU核数，默认1个
set mapreduce.reduce.cpu.vcores= 2;

-- reducetask失败重试次数，默认4次
set mapreduce.reduce.maxattempts = 128;

-- 当MapTask完成的比例达到该值后才会为ReduceTask申请资源。默认是0.05
set mapreduce.job.reduce.slowstart.completedmaps =0.05;

-- 如果程序在规定的默认10分钟内没有读到数据，将强制超时退出
set mapreduce.task.timeout= 600000;