Celery是专注实时处理和任务调度的分布式任务队列;是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理, 如果你的业务场景中需要用到异步任务,就可以考虑使用celery, 举几个实例场景中可用的例子:
主要应用场景:
1,web应用,当需要触发事件需要较长时间处理完成,可以交给celery进行异步执行,执行完后返回结果,这段时间不用等待,提高系统的吞吐量和响应时间。例如:你想对100台机器执行一条批量命令,可能会花很长时间 ,但你不想让你的程序等着结果返回,而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果, 在任务执行过程中,你可以继续做其它的事情。
2,完成任务时,需要额外的事件处理,比如发送短信/邮件、推送消息、清理/设置缓存等。
3,后台定时任务处理,celery可以帮助我们在不同服务器进行定时任务管理。例如:你想做一个定时任务,比如每天检测一下你们所有客户的资料,如果发现今天 是客户的生日,就给他发个短信祝福。
主要特性:
1, 方便查询任务的进展情况,如执行结果,状态,消耗时间。
2,可以利用功能齐全的后台管理进行任务的添加,删减等操作。
3,可以进行并发操作。提供异常处理机制。
4、高可用:当任务执行失败或执行过程中发生连接中断,celery 会自动尝试重新执行任务。
5、快速:一个单进程的celery每分钟可处理上百万个任务。
主要架构:
1,Celery Beat:任务调度器,Beat进程会读取配置文件的内容,周期性地将配置中到期需要执行的任务发送给任务队列。
2,Celery Worker: 任务执行的消费者。执行任务。执行任务的消费者,通常会在多台服务器运行多个消费者来提高执行效率。
3,Broker:消息的中间件,接收生成者产生的消息,存储队列并分发给任务方进行消费。
4,Producer:调用celery的API,函数,装饰器等产生任务交给任务队列,简称生成者。
5,Result Backend:任务处理完成后的结果储存。以供查询
选择消息代理:
Celery目前支持RabbitMQ、Redis、MongoDB、Beanstalk、SQLAlchemy、Zookeeper等作为消息代理,但适用于生产环境的只有RabbitMQ和Redis,至于其他的方式,一是支持有限,二是可能得不到更好的技术支持。
Celery官方推荐的是RabbitMQ,Celery的作者Ask Solem Hoel最初在VMware就是为RabbitMQ工作的,Celery最初的设计就是基于RabbitMQ,所以使用RabbitMQ会非常稳定,成功案例很多。如果使用Redis,则需要能接受发生突然断电之类的问题造成Redis突然终止后的数据丢失等后果。
开始简单使用Celery
创建一个任务文件就叫admin.py
from celery import Celery app = Celery('admin', broker='redis://localhost:6379/0', backend='redis://localhost:6379/1') @app.task def add(x, y): print("running...", x, y) return x + y 启动Celery Worker来开始监听并执行任务,在当前路径终端下输入命令 celery -A admin worker --loglevel=info
再打开一个终端, 进行命令行模式,在当前路径下进入python虚拟环境后调用任务,出现如下错误。看别人描述大概就是说win10上运行celery4.x就会出现这个问题,解决办法如下,原理未知。解决办法:安装。pip install eventlet 然后celery -A admin worker -l info -P eventlet
运行成功:终端和redis数据库都可以看到结果