hadoop1.0与hadoop2.0mapper reducer个数设定
上周听师兄做分享,讲到他如何设定每个节点可以并行启动的最大mapper个数,当然这个参数并不是执行时实际启动的mapper的个数。因为执行时实际启动的mapper个数是由输入的split的个数决定的。在hadoop1.0版本里,集群最多并行的mapper个数可以这样计算,首先通过mapred.tasktracker.map.tasks.maximum
设定单个节点最多并行的mapper个数,然
原创
2015-08-11 09:59:37 ·
1142 阅读 ·
0 评论