关于Mapreduce中多任务串联执行的认识

本文介绍了如何在MapReduce框架中实现多任务串联执行,通过 ControlledJob 和 JobControl 对象管理多个 MapReduce 任务的依赖关系,确保任务按顺序执行。在处理共同好友等业务逻辑时,这种做法能简化代码执行流程。主要步骤包括创建 ControlledJob 实例,建立任务间的依赖关系,并通过 JobControl 管理任务执行。
摘要由CSDN通过智能技术生成

最近加深了下Mapreduce的分布计算框架的理解,处理一些业务逻辑时,发现需要多个mapreduce程序才能完成。为了降低代码执行的繁琐度,将多个main文件合成一个,研究了下多任务的串联执行。下面就开始说说我的认识吧!


业务逻辑是比较普遍的求共同好友的测试。一般而言,根据业务逻辑,需要编写两个mapreduce程序,分别放在两个java文件中,先后执行才能获取最终的结果。下面是我将两个mapreduce程序放到一个java文件中,然后对main类的改造。


首先分别创建两个controlledJob对象,处理两个mapreduce程序。

ControlledJob controlledJob1 = new ControlledJob(job1.getConfiguration());
ControlledJob controlledJob2 = new ControlledJob(job2.getConfiguration());

创建一个管理组cf,用于管理创建的controlledJob对象,自定义组名,然后用addJob方法添加进组。

JobControl jc = new JobControl("cf");

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值