面试官：怎样设计一个分布式任务调度平台？

大家好，我是君哥。

在工作中，批量任务调度的需求经常会遇到，比如下面的几个场景：

1. 数据迁移：从数据库 A 批量读取数据，加工后把数据写入数据库 B；

2. 消息通知：运营商批量给客户发送短信；

3. 批量扣款：在还款日，银行批量扣除贷款客户的当期还款金额；

4. 账务加工：系统通过日终跑批的方式加工当天的账务数据。

从开源框架来看，优秀的分布式任务调度框架并不少，比如 Quartz、Spring Batch、xxl-job、PowerJob 等。如果公司不使用开源框架，要自研一套，该如何设计呢？

今天就来聊一聊怎样设计一套分布式任务调度平台。

1.触发器

既然是任务调度，那触发器肯定是必不可少的。触发器就是控制任务什么时间开始执行，使用者可以定义好 Cron 表达式，到时间保证任务被触发。

除了定时触发外，也要设计通用的触发接口，方便地给外部系统提供触发入口。

在一些对账类的场景，可能多个系统联合对账，上游系统加工好后把账务文件送过来，触发本系统的批量任务进行对账。本系统对账完成后，要把对账结果异步通知给调用方。

2.调度器

调度器的主要作用是给待执行任务找到一台合适的机器，然后把它调度到这台集群上的待执行队列。

2.1 调度策略

调度器的调度策略可以有几种：

• 调度到固定一台机器；

• 以轮询方式调度到下一台机器；

• 根据集群中各机器的资源状况调度到一台空闲的机器，这个比较难一些；

• 随机选择一台机器；

• 所有机器都执行。

在集群环境下，调度器对定时任务的作用是非常重要的，调度不好，很容易导致任务在不同机器上重复执行。

同时，调度器可以根据机器的资源情况进行任务调度，提高任务执行效率。

当然，也可能会有广播的场景，这时调度器需要把任务调度到所有的机器上执行。

还需要考虑的一个点就是任务优先级，优先级高的任务需要优先调度。

3 执行器

调度器把任务调度到某一个机器上后，就把任务交给了执行器。执行器可以定义一个线程池，接到任务后把任务丢到线程池中，等待被线程池调度。

执行器可以提供一个基类，任务类通过继承这个基类被调度平台识别。

4.任务链

任务链也是非常重要的概念，在任务调度平台上要支持任务链的定义，比如 task1->task2->task3 这样一条任务链，task1 执行完成后触发 task2，task2 执行完成后触发 task3。

任务链使用的业务场景很多。比如一个复杂度高、耗时很长的任务，可以拆分成多个子任务，这样如果有一个任务失败了，把异常问题解决后，从失败任务节点重新调起就可以。

实现任务链的方法有多种，这里提供两个思路供参考，一个是不定义任务链，给每个任务定义一个子任务，触发时只触发第一个任务，任务执行完成后执行子任务；第二个方法是定义一个任务链，任务链明确任务依赖关系。

5.熔断

批量任务一般用于处理数据量大的任务，比如给 10 万个客户发送短信通知。这会对本系统资源消耗较大，也可能会对下游系统造成压力。

如果没有任何防控手段，很可能会因为下游系统接口响应慢造成系统连锁反应。有了熔断能力，系统就可以及时发现问题并做出反应，对本系统和下游系统进行保护。

6.异常处理

异常处理的手段也是必要的。异常处理可以包含下面功能：

• 用户可以方便地查看异常；

• 解决异常后，可以方便地重新发起任务；

• 遇到一些任务因为异常原因耗时太长，可以中断任务；

• 遇到任务执行时间长，长时间占用系统资源，可以把任务挂起，给其他任务执行时间，其他任务执行完后可以再恢复这个任务。

7.阻塞控制

对于单机执行的任务，遇到任务排队的情况很正常。可以设置阻塞策略，比如按照 FIFO 方式进行排队执行，或者不做排队，有正在执行的任务时直接丢弃。

8.服务注册/发现

前面说到调度器会把任务调度到其中一台机器执行，那为了方便地管理集群中的机器，服务注册和发现功能也是很必要的。

9.任务监控

好多跑批任务是在日终执行，比如凌晨。把任务加入公司的监控体系，如果任务失败，触发监控告警，可以让运维人员和研发人员第一时间感知到。

10.控制台

有了上面的讨论，控制台的作用就很重要的。可以包括：

• 触发器配置；

• 触发类型配置；

• 调度器配置；

• 执行器配置；

• 任务和子任务配置；

• 异常处理；

• 阻塞控制策略配置；

• 任务执行状态查询；

• 集群管理。

11.总结

通过本文的讨论，我们设计一个任务调度平台，需要下面的功能，希望对你设计和理解任务调度平台有所帮助。