springboot集成xxl-job的详细使用

概述

首先我们要知道什么是XXL-JOB？

官方简介：XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用

XXL-JOB的有点特性：

1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；

2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA；4、执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；7、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；8、故障转移：任务路由策略选择"故障转移"情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；11、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便地扩展短信、钉钉等告警方式；13、分片广播任务：执行器集群部署时，任务路由策略选择"分片广播"情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；14、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。15、事件触发：除了"Cron方式"和"任务依赖方式"触发任务执行之外，支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务，可根据业务事件灵活触发

架构+工作流程图

使用场景

个人认为xxl-job比较适合运行耗时比较长的大任务（定时大任务的估计也差不多），或者数量少耗时短的微任务；对于那种数量多或是运行时间较短的微任务可能不太适合（我的项目正好是后面这种…）。

再具体点，可以细分为两类：

相同jobId：适合数量少耗时长的大任务；不适合数量多或耗时短的微任务，不适合数量多耗时长且需要尽快获得执行结果的大任务。

不同jobId：适合耗时长的大任务；不适合耗时短的微任务。

以上结论是我的个人观点，如有错误请多指正。

使用

​1.引入jar包

<!--分布式调度 xxl-job -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>1.9.1</version>
</dependency>

2.配置XXL-JOB的数据源

# 调度中心部署跟地址：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
# 执行器"AppName"和地址信息配置：AppName执行器心跳注册分组依据；地址信息用于"调度中心请求并触发任务"和"执行器注册"。执行器默认端口为9999，执行器IP默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用。单机部署多个执行器时，注意要配置不同执行器端口
xxl.job.executor.appname=xxl-job-executor-sample
xxl.job.executor.ip=
xxl.job.executor.port=9999
# 执行器通讯TOKEN，非空时启用
xxl.job.accessToken=
# 执行器运行日志文件存储的磁盘位置，需要对该路径拥有读写权限
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
# 执行器Log文件定期清理功能，指定日志保存天数，日志文件过期自动删除。限制至少保持3天，否则功能不生效；
xxl.job.executor.logretentiondays=-1

3.创建配置类

package com.macro.mall.tiny.demo.config;

import com.xxl.job.core.executor.XxlJobExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.Configuration;

/**
 * xxl-job配置文件
 */
@Configuration
//指定任务Handler所在包路径
@ComponentScan(basePackages = "com.xxx.jobhandler")
public class XxlJobConfig {
   
   private static final Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

   @Value("${xxl.job.admin.addresses}")
   private String adminAddresses;

   @Value("${xxl.job.executor.appname}")
   private String appName;

   @Value("${xxl.job.executor.ip}")
   private String ip;

   @Value("${xxl.job.executor.port}")
   private int port;
   
   @Value("${xxl.job.executor.logpath}")
   private String logPath;

   @Value("${xxl.job.accessToken}")
   private String accessToken;


   @Value("${xxl.job.executor.logretentiondays}")
   private int logRetentionDays;

   @Bean(initMethod = "start", destroyMethod = "destroy")
   public XxlJobExecutor xxlJobExecutor() {
      logger.info(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> xxl-job config start init.>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>");
      XxlJobExecutor xxlJobExecutor = new XxlJobExecutor();
      xxlJobExecutor.setAdminAddresses(adminAddresses);
      xxlJobExecutor.setAppName(appName);
      xxlJobExecutor.setIp(ip);
      xxlJobExecutor.setPort(port);
      xxlJobExecutor.setAccessToken(accessToken);
      xxlJobExecutor.setLogPath(logPath);
      xxlJobExecutor.setLogRetentionDays(-1);
      logger.info(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> xxl-job config end init.>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>");

      return xxlJobExecutor;
   }
}

4.创建定时任务

package com.macro.mall.tiny.demo.job;

import com.macro.mall.tiny.demo.service.impl.AddCreateTableJobImpl;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import java.util.Date;


/**
 * 任务Handler示例（Bean模式）
 * 开发步骤：
 * 1、继承"IJobHandler"：“com.xxl.job.core.handler.IJobHandler”；
 * 2、注册到Spring容器：添加“@Component”注解，被Spring容器扫描为Bean实例；
 * 3、注册到执行器工厂：添加“@JobHandler(value="自定义jobhandler名称")”注解，注解value值对应的是调度中心新建任务的JobHandler属性的值。
 * 4、执行日志：需要通过 "XxlJobLogger.log" 打印执行日志；
 * 5、任务执行结果枚举：SUCCESS、FAIL、FAIL_TIMEOUT
 */
@JobHandler(value = "GPS_DEVICE_LOG_JOB")
@Component
public class GpsDeviceLogHandler extends IJobHandler {
    private static final Logger LOG = LoggerFactory.getLogger(GpsDeviceLogHandler.class);

    @Autowired
    private AddCreateTableJobImpl addCreateTableJobImpl;

    @Override
    public ReturnT<String> execute(String param) throws Exception {

        LOG.info("GPS_DEVICE_LOG_JOB==================start STAFF_STEP=========================!");
        //每天晚上定时创建第二日sql表
        addCreateTableJobImpl.addCreateTable(new Date());

        LOG.info("===================end STAFF_STEP=========================!");

        return new ReturnT(200, "执行成功:");
    }

}

5.项目结构

访问管理平台

1.配置执行器

注意：配置中自动注册不用多说，使用手动注入时服务器地址为部署定时器代码的服务地址，而端口号则是使用->第2步中数据源的端口号；

2.创建执行任务

按照提示填入，0 1 * * * ? 代表每分钟执行一次。

3.效果

4.任务具体配置的含义

执行器：任务的绑定的执行器，任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 "执行器管理" 进行设置;

- 任务描述：任务的描述信息，便于任务管理；
- 路由策略：当执行器集群部署时，提供丰富的路由策略，包括；
FIRST（第一个）：固定选择第一个机器；
LAST（最后一个）：固定选择最后一个机器；
ROUND（轮询）：；
RANDOM（随机）：随机选择在线的机器；
CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。
LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举；
LEAST_RECENTLY_USED（最近最久未使用）：最久为使用的机器优先被选举；
FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；
BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；
SHARDING_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；

- Cron：触发任务执行的Cron表达式；
- 运行模式：
BEAN模式：任务以JobHandler方式维护在执行器端；需要结合 "JobHandler" 属性匹配执行器中任务；
GLUE模式(Java)：任务以源码方式维护在调度中心；该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护，它在执行器项目中运行，可使用@Resource/@Autowire注入执行器里中的其他服务；
GLUE模式(Shell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "shell" 脚本；
GLUE模式(Python)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "python" 脚本；
GLUE模式(PHP)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "php" 脚本；
GLUE模式(NodeJS)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "nodejs" 脚本；
GLUE模式(PowerShell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 "PowerShell" 脚本；
- JobHandler：运行模式为 "BEAN模式" 时生效，对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值；
- 阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；
单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；
丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；
覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；
- 子任务：每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取)，当本任务执行结束并且执行成功时，将会触发子任务ID所对应的任务的一次主动调度。
- 任务超时时间：支持自定义任务超时时间，任务运行超时将会主动中断任务；
- 失败重试次数；支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；
- 报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔；
- 负责人：任务的负责人；
- 执行参数：任务执行所需的参数，多个参数时用逗号分隔，任务执行时将会把多个参数转换成数组传入；

创作不易，如果这篇文章对你有用，请点个赞谢谢♪(･ω･)ﾉ！