MapReduce
A宇
这个作者很懒,什么都没留下…
展开
-
JobControl的使用及获取计数器
JobControl的使用1.JobControl配置//1.首先声明一个JobControl JobControl jobControl = new JobControl("groupName");//2.然后写conf的配置 Configuration conf = new Configuration(); conf.set("name","value"); ...省略配置... ...一般这里原创 2017-09-08 14:40:33 · 589 阅读 · 0 评论 -
mapreduce自定义分区及分箱
分区 –数据发送给哪个reduce 分箱 –结果输出到哪个目录mapreduce分区/Partitionmapreduce默认使用HashPartitioner进行分区。 源码如下:public class HashPartitioner<K, V> extends Partitioner<K, V> { /** Use {@link Object#hashCode()} to part原创 2017-09-11 14:20:37 · 1310 阅读 · 0 评论