使用celery定时任务将MySQL数据同步到MongoDB时报错2006与2013 原因分析

最新推荐文章于 2024-05-21 18:02:18 发布
最新推荐文章于 2024-05-21 18:02:18 发布
阅读量996 收藏
点赞数
分类专栏： 技术问题分析 文章标签： MySQL Celery RabbitMQ Peewee Flask
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangsiNANA/article/details/83187097
版权
在Flask项目中，使用Celery+RabbitMQ定时从MySQL同步数据到MongoDB时遇到2006和2013错误。问题源于MySQL的wait_timeout和peewee的stale_timeout设置。当超过stale_timeout而没有web请求时，数据库连接不会被关闭。解决方案包括使用上下文管理器确保连接关闭，或在定时任务中直接使用原生连接。
摘要由CSDN通过智能技术生成

场景

在Flask项目中使用peewee扩展playhouse中的PooledMySQLDatabase 连接MySQL数据库 =>

from playhouse.pool import PooledMySQLDatabase

使用celery+rabbitmq做定时任务，每15分钟将数据从MySQL同步到MongoDB。启动服务、rabbitmq、celery定时任务，使用flower监控。数分钟后，任务执行失败，错误信息 Error 2006：MySQL server has gone away；Error 2013：Lost connection to MySQL server during query

参数设置

MySQL Server：wait_timeout(以前版本的Connection Lifetime)= 28800(8个小时，默认配置)，

peewee(PooledMySQLDatabase)：stale_timeout=600， max_connections=32（其余参数使用默认值）

wait_timeout官方定义如下：

The number of seconds the server waits for activity on a noninteractive connection before closing it.

On thread startup, the session wait_t

最低0.47元/天 解锁文章
线程魔法师
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Lost connection to MySQL server during query的几种可能分析
专注自动化、性能测试、测试架构学习交流
07-07 1万+
Lost connection to MySQL server during query的几种可能分析
celery (高级）+ redis+ django实现异步推送守护进程
weixin_42237812的博客
12-19 734
之前写过一篇celery的基础，这里分享一下他的守护进程   环境：python3.6     win10   django2.0（这里没有用到django）     在这里，再次提起，是因为技术的更新，在下面的代码中增加的了 异步中常用的一个包：crontab 关于crontab这个包的实用性，它真的特别好用，如果有需要大家可以查询一下，我这里可以分享一个连接给大家，那里总结的很好。...
django-celery-beat自动调度异步任务
凡梦千华的博客
05-21 787
它支持使用任务队列的方式在分布的机器、进程、线程上执行任务调度。Celery不仅支持异步任务（如发送邮件、文件上传、图像处理等耗时操作），还支持定时任务，即需要在特定时间执行的任务。Celery本身不提供消息服务，需要借助RabbitMQ、Redis等消息中间件，本项目使用的是Redis。。它包含一个调度器，负责根据配置的时间表计划任务的执行。这些任务通常是Celery任务，即异步执行的函数或方法。
【记录】celery + mongodb 动态添加、更新定时任务时间
qq_35567179的博客
11-05 1358
无框架 celery 动态更新定时任务时间
Celery的安装和简单使用（Redis作为消息中间件）
bitcsljl的博客
09-21 1767
Celery的安装和简单应用（Redis作为消息中间件）
Python 学习 ---＞ 并行、分布式 框架 Celery
热门推荐
freeking101的博客
07-13 5万+
Celery是一个异步任务的调度工具，也可以叫做 "分布式任务队列(Distributed Task Queue)"。
celery定时任务使用总结
最新发布
07-02
Django项目中celery定时任务的使用开发注意事项： 1. 下载celery、eventlet和redis模块，确保redis能正常启动(redis-server); 2. 项目的settings文件中的INSTALLED_APPS中添加celery和项目名称， ``` from ...
python Celery定时任务的示例
09-20
5. 使用数据库存储定时任务：Celery支持使用数据库来存储定时任务，这允许任务信息可以被更新和管理。通过定义一个数据库模型来存储任务信息，我们可以创建和禁用任务。创建任务时，如果对应的crontab表项不存在，则...
python基于celery实现异步任务周期任务定时任务
09-18
与之相比，使用Celery来管理定时任务和周期任务会更加灵活和方便，它能够在任务执行结束后随时获取任务结果。 本文通过一个简单的示例来展示如何使用Celery来定义和执行异步任务。首先定义了一个Celery实例，并配置...
Django实现celery定时任务过程解析
12-20
接下来，在`settings.py`中，添加`'django_celery_beat'`和`'django_celery_results'`到`INSTALLED_APPS`列表，以启用Celery的定时任务功能和结果存储。 在项目根目录的`__init__.py`文件中，导入并声明Celery应用...
Django+Celery实现动态配置定时任务的方法示例
09-16
在本文中，我们将深入探讨如何使用Django与Celery框架实现动态配置定时任务。Django是一个流行的Python web框架，而Celery则是一个分布式任务队列，适用于处理异步任务和定时任务。结合两者，我们可以创建一个强大的...
celery调度backend使用mongdb数据存储定时异步等信息
HADLM
02-20 1178
由于backends的引擎不含有mongodb，所以不能像mysql或者Oracle那样直接将celery的一些数据直接存入数据库。 根据源码研究celery本身是支持mongodb存储定时异步等信息的，我查了django-celery的源码，是支持MySQL、Oracle等数据库的，但是不支持mongodb数据库，我的看法：可能与数据库的model设计差异有关，所以直接找有没有像django-celery一样的支持mongodb的依赖库。 结果： Celery Beat Scheduler ，将任务表本身
django 使用mongodb数据库 celery并发自增字段
HADLM
04-30 440
通过MySQL数据库的id自增特性来完成task_id在并发时的唯一 def init_index_func(): from apps.celery.models import TaskIndex if not TaskIndex.objects.filter(id=1): task_queryset = cc_ReportTask.objects.all() task_id_list = [int(i.task_id) for i in task_quer
61 Celery Beat 任务调度
Jian Sun_的博客
10-31 2202
前面的任务调用都是手动触发的，本届将展示以下使用Celery的Beat进程自动调度任务。 Celery Beat是Celery的调度器，其定期启动任务，然后由集群中的可用工作节点worker执行这些任务。默认情况下，Beat进程读取配置文件中CELERYBEAT_SCHE-DULE的设置，也可以使用自定义存储，比如将启动任务的规则存储在SQL数据库中。请确保每次只为任务调度运行一个调度程序，否则任务将被重复执行。使用集群的方式意味着调度不需要同步，服务可以在不使用锁的情况下...
前方高能！硬核源码剖析 Celery Beat 调度原理
Python实用宝典网
07-12 1207
Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，它是一个专注于实时处理的任务队列，同时也支持任务调度。为了讲解 Celery Beat 的周期调度机制及实现原理，我们会基...
python消息队列celery_CELERY 消息队列配置 | 学步园
weixin_39851279的博客
11-28 242
消息队列配置文档:使用 MongoDB数据库：1. 安装 MongoDB.2. easy_install pymongo3. easy_install celery4. easy_install django celery5. settings.py 配置增加 app INSTALLED_APPS = ('djcelery','tasks',)# Using the database to sto...
celery——django-celery-beat的celery的配置选项、使用task与shared_task动态创建、取消延时任务以及定时任务
kdq18486588014的博客
07-12 1743
一、celery的配置选项 二、task、shared_task 1. task装饰器 1.1 task任务创建 1.2 task任务生成 1.3 获取任务的状态和任务结果 1.4 取消延时任务 1.5 取消定时任务 1.6 更新任务 2.shared_task 2.1 shared_task任务创建 2.2 shared_task任务生成 2.3 获取对应任务的任务状态、任务结果 2.4 取消延时任务 2.5 取消定时任务 2.6 更新任务 补充问题
Celery
beichen0518的博客
07-16 839
Celery 是 Distributed Task Queue，分布式任务队列，分布式决定了可以有多个 worker 的存在，队列表示其是异步操作，即存在一个产生任务提出需求的工头，和一群等着被分配工作的码农。 在 Python 中定义 Celery 的时候，我们要引入 Broker，中文翻译过来就是“中间人”的意思，在这里 Broker 起到一个中间人的角色。在工头提出任务的时候，把所有的任务...
如何使用celery定时任务根据数据库中的数据进行批量推送邮件
06-03
使用Celery可以很方便地实现定时任务和根据数据库中的数据进行批量推送邮件。以下是一个示例代码，演示如何使用Celery定时发送根据数据库中的数据进行批量邮件推送： 1. 安装Celery和Redis ```bash pip install celery redis ``` 2. 创建Celery实例 ```python # tasks.py from celery import Celery app = Celery('tasks', broker='redis://localhost:6379/0') ``` 3. 编写发送邮件的函数 ```python # tasks.py import smtplib from email.mime.text import MIMEText from myapp.models import User # 假设我们的User模型在myapp.models中定义 @app.task def send_email(recipient, subject, body): # 创建邮件内容 message = MIMEText(body) message['From'] = 'sender@example.com' message['To'] = recipient message['Subject'] = subject # 连接邮件服务器 server = smtplib.SMTP('smtp.example.com', 587) server.starttls() server.login('username', 'password') # 发送邮件 server.sendmail('sender@example.com', recipient, message.as_string()) # 关闭连接 server.quit() ``` 4. 编写定时任务 ```python # tasks.py from datetime import datetime, timedelta from myapp.models import User @app.task def send_batch_emails(): # 从数据库中获取收件人列表 recipients = User.objects.values_list('email', flat=True) subject = 'Test Email' body = 'This is a test email.' # 发送邮件 for recipient in recipients: send_email.apply_async(args=[recipient, subject, body]) @app.task def send_periodic_emails(): # 每天10点发送一次邮件 schedule_time = datetime.now().replace(hour=10, minute=0, second=0) if schedule_time < datetime.now(): schedule_time += timedelta(days=1) send_batch_emails.apply_async(eta=schedule_time) ``` 5. 启动Celery ```bash celery -A tasks worker --loglevel=info ``` 6. 定时发送邮件 ```python # 在任意位置调用 send_periodic_emails() 函数即可 from tasks import send_periodic_emails send_periodic_emails.delay() ``` 在上面的代码中，我们使用Celery创建了一个异步任务send_email()，用于发送单个邮件。然后，我们创建了一个异步任务send_batch_emails()，用于从数据库中获取收件人列表，为每个收件人创建一个send_email任务，并异步发送邮件。 最后，我们创建了一个定时任务send_periodic_emails()，用于每天10点发送一次邮件。我们使用Celery的apply_async()方法设置任务的执行时间，并在启动Celery后调用该函数即可。 您可以根据自己的需要修改邮件内容、从数据库中获取收件人列表和定时任务的时间，并使用类似的方法来实现根据数据库中的数据进行定时批量邮件推送。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值