hadoop常用的调优参数

1. 资源相关参数
   (1).在MR应用程序中配置即可生效（mapred-default.xml）

    <1>.mapreduce.map.memory.mb	
    	一个Map Task可以使用的资源上限，默认为1024MB，如果Map Task实际使用的资源量超过该值，则会被强制杀死。
    
    <2>.mapreduce.reduce.memory.mb
    	一个ReduceTask可使用的资源上限，默认为1024MB。如果ReduceTask实际使用的资源量超过该值，则会被强制杀死。
    
    <3>.mapreduce.map.cpu.vcores
    	每个Map Task可使用的最多cpu core数目，默认值: 1
    
    <4>.mapreduce.reduce.cpu.vcores
    	每个Reduce Task可使用的最多cpu core数目，默认值: 1
    
    <5>.mapreduce.reduce.shuffle.parallelcopies
    	每个Reduce去Map中取数据的并行数。默认值是5
    
    <6>.mapreduce.reduce.shuffle.merge.percent
    	Buffer中的数据达到多少比例开始写入磁盘。默认值0.66
    
    <7>.mapreduce.reduce.shuffle.input.buffer.percent
    	Buffer大小占Reduce可用内存的比例。默认值0.7
    
    <8>.mapreduce.reduce.input.buffer.percent
    	指定多少比例的内存用来存放Buffer中的数据，默认值是0.0
   

   (2).在Yarn启动前就要配置在服务器的配置文件中才能生效（mapred-default.xml）

    <1>.yarn.scheduler.minimum-allocation-mb