Python使用SQLite插入大量数据耗时问题

最新推荐文章于 2024-04-29 00:09:38 发布
最新推荐文章于 2024-04-29 00:09:38 发布
阅读量8.3k 收藏 19
点赞数 1
分类专栏： Python 文章标签： python 数据库 sqlite
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zxg_1991/article/details/78870446
版权

前言

使用Python爬虫代理IP时，最先使用了sqlite作为存储ip数据库，sqlite简单、灵活、轻量、开源，和文件系统一样。而当大量插入爬取的数据时，出现了严重的耗时，查看一起资料后，发现：sqlite在每条insert都使用commit的时候，就相当于每次访问时都要打开一次文件，从而引起了大量的I/O操作，耗时严重。
下面是每次插入后，提交事务处理，每次插入的时间，单位是秒。

    def insert(self, sql, data):
        '''
        insert data to the table
        :param sql:
        :param data:
        :return:
        '''
        if sql is not None and sql != '':
最低0.47元/天 解锁文章
斯玛特刚
关注
  • 1
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python sqlite3写入内存_使用pythonsqlite3从SQLite文件写入数据的建议
weixin_30516429的博客
02-09 399
我已经生成了一个巨大的SQLite数据库，需要从中获取一些数据。我编写了一些脚本来完成这项工作，而评测则得出了一个不幸的结论：使用当前的设置，写入过程将花费大约3天的时间。我把脚本写得尽可能简单，以尽可能快。在我想知道你是否有什么诀窍来加快整个过程。数据库有一个唯一的索引，但我查询的列没有(因为这些列有重复的行)。在在这里使用任何多处理Python库有意义吗？在脚本如下：import sqlite...
python数据批量写入sqlite3_Python操作sqlite3快速、安全插入数据（防注入）的实例...
weixin_39535217的博客
12-06 185
table通过使用下面语句创建：复制代码 代码如下:create table userinfo(name text, email text)更快地插入数据在此用time.clock()来计时，看看以下三种方法的速度。复制代码 代码如下:import sqlite3import timedef create_tables(dbname):conn = sqlite3.connect(dbname)c...
Python 操作 SQLite 数据库_sqlite 批量插入 python
m0_60452141的博客
04-29 464
接下来就是对数据库内容的操作，都是用游标对象方法来实现：我们在里面看到了一系列我们熟悉的名称：close()、execute()、fetchall() 等。1.创建数据库表面对 SQLite 数据库，我们之前熟悉的 SQL 指令都可以用：这样就在数据库 lite.db 中建立了一个表 books。对这个表可以增加数据：为了保证数据能够保存，还要进行如下操作：以上，在刚才建立的数据库中已经有了一个表 books，表中已经有了一条记录。2.查询保存以后我们来查询一下：3.批量插入。
python database 日期_Python SQLite3数据库日期与时间常见函数用法分析
weixin_39725650的博客
12-11 163
本文实例讲述了Python SQLite3数据库日期与时间常见函数。分享给大家供大家参考，具体如下：import sqlite3#con = sqlite3.connect('example.db')con = sqlite3.connect(":memory:")c = con.cursor()# Create tablec.execute('''CREATE TABLE stocks(date...
java sqlite3查询慢,SQLite 插入大量数据慢的解决方法
weixin_31018573的博客
03-20 1179
sqlite 插入数据很慢的原因：sqlite在没有显式使用事务的时候会为每条insert都使用事务操作，而sqlite数据库是以文件的形式存在磁盘中，就相当于每次访问时都要打开一次文件，如果对数据进行大量的操作，时间都耗费在I/O操作上，所以很慢。解决方法是显式使用事务的形式提交：因为我们开始事务后，进行的大量操作的语句都保存在内存中，当提交时才全部写入数据库，此时，数据库文件也就只用打开一次。...
Python向Sqlite批量插入数据，测试硬盘性能
weixin_34405925的博客
04-09 1169
2019独角兽企业重金招聘Python工程师标准>>> ...
Android操作sqlite导入大量数据耗时的解决方法
路遥知马力
01-10 4138
在Android开发中，需要向sqlite中导入大量数据，按照一般做法是很耗时的，测试了一下，导入一条数据在100ms左右，按照这样的做法，如果导入1万条数据，大约得花17分钟，经过实际测试，确实花了17分钟左右。 解决耗时的办法是利用sqlite的事务来处理。方法如下： 首先获取database对象，然后执行如下方法： db.beginTransaction();      /
python操作mysql数据库 内存占用100_python操作mysql数据库
weixin_39865061的博客
12-16 162
#project :Python_Script#-*- coding = UTF-8 -*-#Autohr :XingHeYang#File :operation_mysql_database.py#time :2019/11/5 10:24#Describe :封装对mysql数据库的基本操作#---------------------------------------...
Python使用SQLite和Excel操作进行数据分析
09-09
在数据分析领域，Python是一种强大的工具，它可以有效地处理和分析大量数据。本文主要讲解了如何使用Python结合SQLite数据库和Excel文件进行数据操作。SQLite是一个轻量级的、无服务器的、自包含的数据库引擎，它被...
使用python下载股票数据至sqlite数据库代码
最新发布
06-02
在Python编程领域，将股票数据下载到SQLite数据库是一种常见的数据管理策略，特别是在进行金融数据分析时。SQLite是一个轻量级的、文件式的数据库，无需独立服务器进程，非常适合个人项目或小型应用。下面，我们将...
python查询sqlite数据表的方法
09-10
本篇文章将详细阐述如何使用Python来查询SQLite数据表。 首先，我们需要导入Python的sqlite3模块，它是Python官方提供的SQLite接口： ```python import sqlite3 as db ``` 接着，我们需要建立到SQLite数据库的...
使用python将sqlite数据导出到excel,代码简单易懂，使用方便
03-19
使用python将sqlite数据导出到excel,代码简单易懂，使用方便。
Sqlite3写性能优化-每秒百万条写入
热门推荐
Ango_的专栏
12-21 1万+
sqlite3写入速度很慢？那一定是没有找到合适的方法，本文测试了几种方法并提供了测试源代码
提高Sqlite3数据库的插入、更新批量操作的执行效率
silencestarsky的博客
06-17 4506
提高Sqlite3数据库的SQL语句批量执行效率
python与sqlite3_使用python和sqlite3插入的性能
weixin_39820177的博客
12-11 306
我正在对SQLite3数据库进行大批量插入,并且我试图了解我应该期待什么样的性能而不是我实际看到的.我的表看起来像这样：cursor.execute("CREATE TABLE tweets(tweet_hash TEXT PRIMARY KEY ON CONFLICT REPLACE,tweet_id INTEGER,tweet_text TEXT)")我的插入看起来像这样：cursor.exe...
SQLite解决插入大量数据速度慢的问题
T1mzhou的博客
07-11 3287
SQLite解决插入大量数据速度慢的问题 背景 在重构公司项目中发现，公司以前代码中将大量数据插入SQLite数据库，速度非常慢，几千条居然需要将近1分钟； 解决方法 知识背景 事务（Transaction）是一个对数据库执行工作单元。事务（Transaction）是以逻辑顺序完成的工作单位或序列，可以是由用户手动操作完成，也可以是由某种数据库程序自动完成。事务（Transaction）是指一个或多个更改数据库的扩展。例如，如果您正在创建一个记录或者更新一个记录或者从表中删除一个记录，那么您正在该表上执行事
python连接不上数据库_解决Python数据库连接超时问题
weixin_39833763的博客
11-25 1661
本文最后更新于2019年7月31日，已超过 1 年没有更新，如果文章内容失效，还请反馈给我，谢谢！=Start=缘由：简单记录一下前段时间碰到的小问题的解决记录，方便以后参考。正文：参考解答：对于一个不是很繁忙的（存在数据库连接的）后台服务来说，可能存在数据库连接自动断开的情况，因为数据库默认的 wait_timeout=28800 ，单位是秒，换算后是8小时，也就是你的服务启动8小时后，如果这期...
SQLLite操作百万级数据之优化篇
#维多利亚的秘密#
02-15 1万+
描述:SQLite数据库本质上来讲就是一个磁盘上的文件，所以一切的数据库操作其实都会转化为对文件的操作，而频繁的文件操作将会是一个很耗时的过程，会极大地影响数据库存取的速度。 描述: SQLite数据库本质上来讲就是一个磁盘上的文件，所以一切的数据库操作其实都会转化为对文件的操作，而频繁的文件操作将会是一个很耗时的过程，会极大地影响数据库存取的速度。例如：向数据库中插入100万条数据，在默
python sqlite3插入数据
03-16
使用Python的sqlite3模块插入数据的步骤如下： 1. 连接到SQLite数据库 ```python import sqlite3 conn = sqlite3.connect('example.db') ``` 2. 创建游标对象 ```python c = conn.cursor() ``` 3. 执行插入操作 ```python c.execute("INSERT INTO table_name (column1, column2, ...) VALUES (?, ?, ...)", (value1, value2, ...)) ``` 其中，`table_name`是要插入数据的表名，`column1, column2, ...`是要插入数据的列名，`value1, value2, ...`是要插入的数据值。 4. 提交事务 ```python conn.commit() ``` 5. 关闭数据库连接 ```python conn.close() ``` 完整的插入数据的示例代码如下： ```python import sqlite3 conn = sqlite3.connect('example.db') c = conn.cursor() c.execute("INSERT INTO users (name, age, email) VALUES (?, ?, ?)", ('Alice', 25, 'alice@example.com')) conn.commit() conn.close() ``` 以上代码将在名为`example.db`的SQLite数据库中的`users`表中插入一条记录，该记录包含`name`、`age`和`email`三个字段的值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值