Django操作千万MySQL数据

最新推荐文章于 2024-03-06 12:52:06 发布
最新推荐文章于 2024-03-06 12:52:06 发布
阅读量561 收藏 1
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangbin0103/article/details/109663271
版权

从网上找了很多资料，都没有理想的效果，优化等等没有多大的提升，我的解决思路很简单，解决了我很大的问题。
实现思路，在查询的时候避免全库查询，添加时间范围没多大用处，最后实验了一下加ID范围，效果明显提升，一千三百多万数据查询原来需要23秒，现在一两秒内即可响应。
实现方法，找到思路，就好找实现了，方法多种，本人能力有限，用了个笨方法，就是建个另外建了个库，主要两个字段，一个是被查表的ID，一个是时间。然后做个定时任务，每十分钟获取一条被查询的ID存入对比库，并记录当前时间。第二步就是逻辑了，通过对比库，查询时间范围，去拉取的数据最后一条的被查Id和最新的一条被查库的ID，放入被查库的执行语句。还有里面有些逻辑问题，请自行根据实际情况设计吧，我这里主要想分享一下思路，具体实现就不写了。希望能帮助用到的朋友

zhangbin0103
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
谁说Django搞定不了千万并发，看你怎么用！
weixin_33753003的博客
09-21 3352
原文内容你可能需要翻墙才能看见！(译文在最下面) https://engineering.instagram.com/web-service-efficiency-at-instagram-with-python-4976d078e366 Instagram currently features the w...
Django使用MySQL数据库
sihao_xiang的博客
02-02 469
pip安装mysqlclient (Linux 还需要装mysql-devel) 在项目的settings.py中设置Databases的相关项为MySQL,填写相关信息 DATABASES = {     'default': {         'ENGINE': 'django.db.backends.mysql',         'NAME': 'cmd',  #数
大规模数据写入数据库提速的一点心得
追梦人的博客
11-27 580
近期接受到小任务，要处理千万级的大规模csv数据然后写入到sqlite数据库中，经过一番挣扎，有以下两点感受： 1.将数据库放在固态硬盘当中（众所周知） 2.在执行完所有的insert语句后，执行commit()提交，而不是insert一次，commit()一次。 接下来写简化版代码进行示意， 低效率例子： for i in range(35000000): c.execute('''sql''') conn.commit() conn.close() #简化代码没有加入具体业务逻辑，但此种情况下处理一
django_orm查询性能优化方法
12-24
查询操作和性能优化 1.基本操作 增 models.Tb1.objects.create(c1='xx', c2='oo') 增加一条数据，可以接受字典类型数据 **kwargs obj = models.Tb1(c1='xx', c2='oo') obj.save() 查 models.Tb1.objects.get(id=123) # 获取单条数据，不存在则报错（不建议） models.Tb1.objects.all() # 获取全部 models.Tb1.objects.filter(name='seven') # 获取指定条件的数据 models.Tb1.
Django REST Framework千万级数据量拆表实践
Yikong的博客
03-18 1317
场景 产品基于Django rest framework、Mysql开发。随着产品发展，部分模型数据量日益增涨，每月达到千万级数据，严重影响性能。 这里以项目实际场景中的Order（订单表）来展开 需求： 1、基本查询，查看历史订单。 2、看板输出，查看每天销售情况，计算订单表中的金额、成本、毛利等字段。 方案分析 性能下降一方面是数据量过大，另一方面是该表承担着频繁的计算请求。以Django对Order(订单表)金额字段计算为例 result = models.Order.objects.filter(p
【Django实现高并发①】——什么是高并发，解决高并发的基本方法，django缓存框架
weixin_73582152的博客
12-31 1968
动态网站的一个基本权衡是，它们是动态的。每次用户请求页面时，Web 服务器都会进行各种计算（从数据库查询到模板呈现再到业务逻辑），以创建网站访问者看到的页面。从处理开销的角度来看，这比标准的在文件系统外读取文件服务器安排要昂贵得多。对于大多数 Web 应用程序来说，这种开销并不是什么大问题。它们是中小型网站，流量一般。但对于中高流量的网站，必须尽可能多地减少开销。缓存某些内容就是保存昂贵的计算结果，这样您下次就不必执行计算。
Python Django实现MySQL百万、千万级的数据量下载：解决memoryerror、nginx time out
weixin_42681866的博客
06-25 2495
前文   在用Django写项目的时候时常需要提供文件下载的功能，而Django也是贴心提供了几种方法：FileResponse、StreamingHttpResponse、HttpResponse，其中FileResponse和StreamingHttpResponse都是使用迭代器迭代生成数据的方法，所以适合传输文件比较大的情况， ...
Django配置MySQL数据库
未来来
08-08 189
本地环境 Python: 3.6.0 Django: 2.0 MySQL: 14.14 安装PyMySQL 配置数据库 在Django项目中，配置信息都存储在 ${ProjectName}/settings.py中，数据库的配置在 DATABASES 节点。 默认配置为： Django默认使用的SQLite数据库，创建项目后直接即可使用。 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.sqlite3',
Django框架使用mysql视图操作示例
09-09
通过这种方式，Django框架能够无缝地利用MySQL视图进行数据查询，提供了一种高效的数据操作方式。视图的使用有助于简化复杂的查询，保护底层数据结构，并提高代码的可维护性。你可以通过提供的代码示例项目（[Git...
py-elasticsearch-django：基于python语言开发的千万等级搜索引擎
02-04
py-elasticsearch-django EseachDjango文件夹是整个项目的web前引入采用Django框架，调用redis中间间，ES接口，前端为采用框架。 spider文件夹是用scrapy框架抓取几十个小说数据网站 ES接口语法案例： Rest接口添加 http的put方式 PUT jiechao { “settings”:{ “index”:{ “number_of_shards”:5, “number_of_replicase”:1 } } } Es的文档，索引的CURE操作（增删改查） 索引的初始化，索引类似关系数据库中的数据库
Django多并发处理
11-05
Django多并发处理详细不愁，安装uwsgi+nginx！很实用哦
Django如何配置mysql数据库
09-09
总的来说，Django配置MySQL数据库涉及安装驱动、创建数据库、修改配置文件、定义模型以及执行迁移操作。通过这些步骤，你可以将Django项目与MySQL数据库无缝集成，充分利用MySQL的强大功能。记住，持续学习和实践是...
Django中使用MySQL5.5的教程
09-08
如果一切正常，你应该能够看到数据的读写操作正常执行。 总结： 本文详细介绍了在Django项目中配置和使用MySQL5.5的步骤，包括安装pymysql、配置数据库设置、处理版本兼容性问题以及运行数据库迁移。遵循这些步骤...
Django框架配置mysql数据库实现过程
09-08
本篇文章将详细讲解如何在Django项目中配置MySQL数据库，以便存储和操作数据。 首先，我们需要在`settings.py`文件中修改默认的数据库配置。Django允许你配置多个数据库，但通常我们会设置一个默认的数据库。以下是...
django连接mysql数据库及建表操作实例详解
09-08
主要介绍了django连接mysql数据库及建表操作,结合实例形式详细分析了Django框架连接mysql数据库、创建与查询数据表相关操作实现技巧,需要的朋友可以参考下
Django面对高并发现象时处理方法
最新发布
LoadingCreate的博客
03-06 901
首先，我们需要使用适当的数据库引擎来处理高并发。默认情况下，Django使用的是SQLite数据库，但在高并发的情况下，它可能会变得非常慢。我们可以考虑使用更适合高并发的数据库，如MySQL或PostgreSQL。这些数据库引擎具有更好的并发处理能力，能够更好地应对高并发请求。其次，我们可以考虑使用缓存来优化性能。Django提供了一些缓存后端，如内存缓存、数据库缓存和文件缓存等。通过将经常访问的数据缓存起来，可以减轻数据库的负载，提高系统的响应速度。
Gunicorn + Django高并发的解决方案
走在搬砖的路上！
10-22 868
用gunicorn实现Django高并发的解决方案_旷古的寂寞的博客-CSDN博客Django提供了自带的runserver命令启动服务，这种方式一般用于开发环境以便于调试程序，并发量比较小的时候也是可以应对的，但是并发量超过这种方式的承载能力时，就需要使用gunicorn启动Django的服务来提高并发能力了。一、安装依赖包：pip3 install django==2.0.6 gevent==1.4.0 gunicorn==19.7.1二、在项目的settin...https://blog.csdn.n
orcal (二）
rain2580的博客
08-27 471
1：nvl 函数 格式为：nvl(string1, replace_with) 　　 功能：如果string1为null，则nvl函数返回replace_with的值，否则返回string1的值。 　 注意事项：string1和replace_with必须为同一数据类型，除非显示的使用to_char函数。 　 2：连接字符串 连接字符串(||)   select ename ...
Django 高并发
weixin_42590539的博客
02-14 759
Django 是一个用于开发网络应用的开源框架，其不是专门针对高并发系统设计的。但是，它具有一些特性，可以帮助我们实现高并发： 缓存：Django 提供了内置的缓存系统，可以有效地缓存数据和页面，从而提高系统的吞吐量。 分布式：Django 可以与多个 Web 服务器配合使用，从而实现负载均衡，提高系统的可用性和容错能力。 集成的数据库支持：Django 支持多种数据库系统，如 Postgr...
django如何操作mysql
07-15
在Django中操作MySQL数据库需要进行以下几个步骤： 1. 安装MySQL驱动：首先，确保您已经安装了MySQL数据库，并且可以访问它。然后，您需要安装Django的MySQL驱动，可以使用`pip`命令安装`mysqlclient`或`pymysql`。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值