partitoner笔记

//1.3 指定分区类
		job.setPartitionerClass(KpiPartitioner.class);
		job.setNumReduceTasks(3);

	static class KpiPartitioner extends HashPartitioner<Text, KpiWritable>{
		@Override
		public int getPartition(Text key, KpiWritable value, int numReduceTasks) {
			if(key.toString().length()==11){
				return 0;
			}else if(key.toString().length()==10){
				return 1;
			}else{
				return 2;
			}
			
		}
	}

 分区的例子必须打成jar运行

    job.setJarByClass(KpiApp.class);


 用处:    1.根据业务需要,产生多个输出文件

                    2.多个reduce任务在运行,提高整体job的运行效率


1. Partitioner是partitioner的基类,如果需要定制partitioner也需要继承该类。

2.  HashPartitioner是mapreduce的默认partitioner。计算方法是

which reducer=(key.hashCode() &Integer.MAX_VALUE) % numReduceTasks,得到当前的目的reducer。




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值