本文主要分享如何使用数据库乐观锁的方案,实现分布式定时任务抢锁执行任务的场景,避免重复执行任务。
案例技术:Oracle+SpringBoot+xxl-Job
环境准备
xxl-Job部署请移步:Spring+xxl-job+oracle_xxl-job oracle配置-CSDN博客
SpringBoot代码:截取核心
说明:本项目存在业务需要处理的作业,产生一条就会存入test_process表一条stauts=1的记录。由于该服务部署了多个示例,执行器也分布在每一个实例中,故当多个定时任务同时执行时,会出现重复执行。
1、获取任务
路由策略采用分片广播策略,将任务均分到各个执行器。
// 路由策略采用分片广播,将任务均匀分布到各个执行器
@Select("select * from test_process t where t.id % #{shardTotal} = #{shardIndex} and t.status=1 and t.fail_count<3")
List<TestProcess> selectListByShardIndex(@Param("shardTotal") int shardTotal, @Param("shardIndex") int shardIndex );
2、定义Job
@XxlJob("testJobHandler")
public void testJobHandler() throws Exception {
// 分片参数
int shardIndex = XxlJobHelper.getShardIndex();//执行器的序号,从0开始
int shardTotal = XxlJobHelper.getShardTotal();//执行器总数
//查询待处理的任务
List<TestProcess> processList = processService.selectListByShardIndex(shardIndex, shardTotal);
//任务数量
int size = processList.size();
if(size<=0){
return;
}
//创建一个线程池
ExecutorService executorService = Executors.newFixedThreadPool(size);
//使用的计数器
CountDownLatch countDownLatch = new CountDownLatch(size);
mediaProcessList.forEach(testProcess -> {
//将任务加入线程池
executorService.execute(()->{
try {
//任务id
Long taskId = testProcess.getId();
//开启任务
int count = processService.startTask(taskId);
if (count<=0) {
log.debug("抢占任务失败,任务id:{}", taskId);
return;
}
// 抢占成功,执行任务
executeTask(testProcess);
// 更新状态
saveProcessFinishStatus(testProcess);
}catch(Exception e){
return;
}
finally {
//计算器减去1
countDownLatch.countDown();
}
});
});
}
3、 定义乐观锁
在持久层定义乐观锁,确保只有一个线程抢到锁。并定义最大重入三次。
// 持久层,定义乐观锁
@Update("update test_process m set m.status='2' where m.status='1' and m.fail_count<3 and m.id=#{id}")
int startTask(@Param("id") long id);
4、执行任务后处理
public void saveProcessFinishStatus(TestProcess testProcess) {
testProcess.setStatus("2");
processService.updateById(testProcess);
}