定时任务（延时事件）处理（二）持久化定时任务

上篇讲到的定时任务管理都只局限于本进程内，一旦进程重启所有的定时任务也都会被取消。在很多的业务场景下，我们需要将定时任务持久化，即使服务重启定时任务依然有效。因此，我们需要实现一个专门的定时任务服务。

实现的功能：

1. 生产者写入一个延时事件，在指定延时时间之后，消费者能够消费到该事件
2. 支持删除延时事件，这与mq不同，延时事件在很多场景下是需要支持删除的
3. 支持重试，事件通知处理失败之后，能够在n秒后重试（指数退避算法）

实现的效果：

1. 通用性：任何一对生产消费者可以自由接入此组件，不需要为每对生产消费者单独部署一套
2. 支持横向扩展，通过增加实例即可提高服务能力，没有明显的服务瓶颈。这个横向扩展既包括了组件的横向扩展，也包括了消费者的横向扩展（不会因为事件过多，导致消费者消费不及时）
3. 尽可能地降低接入成本，使用方便

内部实现

生产者调用组件的RPC接口写入延迟事件（事件topic，事件key，延迟时长，附加消息），组件内部会给每个机房的每个topic生成一个zset，将整个请求体序列化加入zset中，score为到期时间戳

组件内部每个topic会用一个线程处理，循环从zset中load出到期事件，通过RPC接口主动异步通知消费者，处理流程如下：