python多线程插入1万条数据

15 篇文章 29 订阅 ¥9.90 ¥99.00
本文介绍了在Python中使用多线程、insertMany、ProcessPoolExecutor、gevent以及threading+queue+连接池等方式批量插入1万条数据到MySQL的方法。对比了不同方式的性能,并提出在实际业务中结合数据库连接池处理外部数据源的方案,以提高数据导入效率。
摘要由CSDN通过智能技术生成

前言

在业务中,经常碰到需要从外部批量读取数据然后导入到mysql等数据库的操作,通常情况下,我们使用一个insert语句就可以完成,但在数据量为上万甚至百万的时候,这样做是不是太耗时了呢?

下面我们先来看一个简单的案例,在数据库中我们提前建立了一个表,将通过程序导入10000条数据到这张表,
在这里插入图片描述

方式1:单线程insert

# -*- coding:utf-8 -*-
import 
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码农叔叔

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值