Mysql分页查询出现重复数据

最新推荐文章于 2024-01-05 22:10:30 发布
最新推荐文章于 2024-01-05 22:10:30 发布
阅读量2.1k 收藏 2
点赞数
分类专栏： mysql sql优化 文章标签： mysql 数据库 java database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuxiang997/article/details/123066592
版权

1、执行sql语句，根据商品销量来进行分页查询

SELECT
  goods_spu.*
FROM
  goods_spu goods_spu
WHERE goods_spu.`shop_id` = '1450999734971478018'
  AND goods_spu.`shelf` = 1
  AND goods_spu.tenant_id = '1'
ORDER BY goods_spu.sale_num DESC
LIMIT 0,10

当所有商品销量都为0或者都一样的情况下就会出现不同分页参数情况下会出现重复的商品

2、解决办法

增加排序条件

可改成：

SELECT
  goods_spu.*
FROM
  goods_spu goods_spu
WHERE goods_spu.`shop_id` = '1450999734971478018'
  AND goods_spu.`shelf` = 1
  AND goods_spu.tenant_id = '1'
ORDER BY goods_spu.sale_num DESC,goods_spu.id
LIMIT 0,10

乃真卧龙凤雏
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
MySQL学习笔记之数据定义表约束,分页方法总结
12-15
本文实例讲述了MySQL学习笔记之数据定义表约束，分页方法。分享给大家供大家参考，具体如下： 1. primary key 主键 特点：主键是用于唯一标识一条记录的约束，一张表最多只能有一个主键，不能为空也不能重复 create table user1(id int primary key,name varchar(32)); mysql> insert into user1 values(1,'hb'); Query OK, 1 row affected (0.10 sec) mysql> insert into user1 values(1,'hb'); ERROR 1062 (2300
mysql分页 数据重复的问题
weixin_44732765的博客
06-26 1633
问题： 分页显示，有些数据会重复出现在不同的页面里面 分析： sql语句类似于： select id, name , grade form score order by grade desc limit 10 offset 0 由于有相同成绩没有考虑到，相同成绩的同学之间排序是乱序。 开发时使用navicat测试，看不出来不同页面有重复数据，但是如果把navicat关掉，重新打开再查询一次，就会发...
一看就懂的MySQL教程
12-14
一看就懂的MySQL教程一、安装二、卸载三、配置1、MySQL服务启动2、MySQL登录3、MySQL 退出四、SQL1、什么是SQL2、SQL通用语法3、SQL分类1）DDL2）DML3）DQL4）DCL五、DDL：操作数据库、表1、操作数据库：CRUD2、操作表六、DQL:增删改表中的数据1、添加数据2、删除数据3、修改数据七、DQL：查询语句1、语法：2、基础查询3、条件查询4、排序查询5、聚合函数6、分组查询7、分页查询八、表的约束1、概念2、分类1.主键约束：primary key2.非空约束：not null3.唯一约束： unique，值不能重复4.外键约束：foreign ke
shell-mysql:shell脚本分页导出mysql数据
05-10
shell-mysql 使用shell脚本分页读取MySQL数据 脚本背景 由于要在Linux上，远程读取mysql的表的数据，然后做一定清洗后，把数据上传至Hadoop集群中，使用Java写吧，感觉太麻烦了，得在Win上开发好，还得打成jar包， 上传到Linux上，如果那里出了问题，还得重复这样，非常不方便，那就用shell写一个吧，也不需要什么jdbc驱动包，只需要在Linux上装个MySQL的 客户端即可，用一行yum命令即可搞定，所以就花了点时间，封装了一个小脚本 功能介绍 直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本，已测过读取600万+的数据 效率与jdbc相差无几 脚本介绍 主要有三个脚本构成1，page.sh 这是一主脚本，里面定义了分页的条件，大家看下便知2，f.sh 一个小包装的脚本吧，里面会用sed去掉表头一些信息3，port.
数据分页程序完全解决方案(含普通分页/分段分页/原始分页/since_id分页)
07-18
0. 下载: 本程序可自由修改, 自由分发, 可在http://download.csdn.net/user/lgg201下载 1. 分页的需求 信息的操纵和检索是当下互联网和企业信息系统承担的主要责任. 信息检索是从大量的数据中找到符合条件的数据以用户界面展现给用户. 符合条件的数据通常会有成千上万条, 而用户的单次信息接受量是很小的, 因此, 如果一次将所有符合用户条件的数据展现给用户, 对于多数场景, 其中大部分数据都是冗余的. 信息检索完成后, 是需要经过传输(从存储介质到应用程序)和相关计算(业务逻辑)的, 因此, 我们需要一种分段的信息检索机制来降低这种冗余. 分页应运而生. 2. 分页的发展 基本的分页程序, 将数据按照每页记录数(page_size)将数据分为ceil(total_record / page_size)页, 第一次为用户展现第一段的数据, 后续的交互过程中, 用户可以选择到某一页对数据进行审阅. 后来, 主要是在微博应用出现后, 由于其信息变化很快, 而其特性为基于时间线增加数据, 这样, 基本的分页程序不能再满足需求了: a) 当获取下一页时, 数据集可能已经发生了很多变化, 翻页随时都可能导致数据重复或跳跃; b) 此类应用采用很多采用一屏展示多段数据的用户界面, 更加加重了数据重复/跳跃对用户体验的影响. 因此, 程序员们开始使用since_id的方式, 将下一次获取数据的点记录下来, 已减轻上述弊端. 在同一个用户界面, 通过用户阅读行为自动获取下一段/上一段数据的确比点击"下一页"按钮的用户体验要好, 但同样有弊端: a) 当用户已经到第100页时, 他要回到刚才感兴趣的第5页的信息时, 并不是很容易, 这其实是一条设计应用的规则, 我们不能让用户界面的单页屏数过多, 这样会降低用户体验; b) 单从数据角度看, 我们多次读取之间的间隔时间足够让数据发生一些变化, 在一次只展示一屏时, 我们很难发现这些问题(因此不影响用户体验), 然而当一页展示100屏数据时, 这种变化会被放大, 此时, 数据重复/跳跃的问题就会再次出现; c) 从程序的角度看, 将大量的数据放置在同一个用户界面, 必然导致用户界面的程序逻辑受到影响. 基于以上考虑, 目前应用已经开始对分页进行修正, 将一页所展示的屏数进行的限制, 同时加入了页码的概念, 另外也结合since_id的方式, 以达到用户体验最优, 同时保证数据逻辑的正确性(降低误差). 3. 分页的讨论 感谢xp/jp/zq/lw四位同事的讨论, 基于多次讨论, 我们分析了分页程序的本质. 主要的结论点如下: 1) 分页的目的是为了分段读取数据 2) 能够进行分页的数据一定是有序的, 哪怕他是依赖数据库存储顺序. (这一点换一种说法更容易理解: 当数据集没有发生变化时, 同样的输入, 多次执行, 得到的输出顺序保持不变) 3) 所有的分段式数据读取, 要完全保证数据集的一致性, 必须保证数据集顺序的一致性, 即快照 4) 传统的分页, 分段式分页(每页内分为多段)归根结底是对数据集做一次切割, 映射到mysql的sql语法上, 就是根据输入求得limit子句, 适用场景为数据集变化频率低 5) since_id类分页, 其本质是假定已有数据无变化, 将数据集的某一个点的id(在数据集中可以绝对定位该数据的相关字段)提供给用户侧, 每次携带该id读取相应位置的数据, 以此模拟快照, 使用场景为数据集历史数据变化频率低, 新增数据频繁 6) 如果存在一个快照系统, 能够为每一个会话发起时的数据集产生一份快照数据, 那么一切问题都迎刃而解 7) 在没有快照系统的时候, 我们可以用since_id的方式限定数据范围, 模拟快照系统, 可以解决大多数问题 8) 要使用since_id方式模拟快照, 其数据集排序规则必须有能够唯一标识其每一个数据的字段(可能是复合的) 4. 实现思路 1) 提供SQL的转换函数 2) 支持分段式分页(page, page_ping, ping, ping_size), 传统分页(page, page_size), 原始分页(offset-count), since_id分页(prev_id, next_id) 3) 分段式分页, 传统分页, 原始分页在底层均转换为原始分页处理 5. 实现定义 ping_to_offset 输入: page #请求页码, 范围: [1, total_page], 超过范围以边界计, 即0修正为1, total_page + 1修正为total_page ping #请求段号, 范围: [1, page_ping], 超过范围以边界计, 即0修正为1, page_ping + 1修正为page_ping page_ping #每页分段数, 范围: [1, 无穷] count #要获取的记录数, 当前应用场景含义为: 每段记录数, 范围: [1, 无穷] total_record #总记录数, 范围: [1, 无穷] 输出: offset #偏移量 count #读取条数 offset_to_ping 输入: offset #偏移量(必须按照count对齐, 即可以被count整除), 范围: [0, 无穷] page_ping #每页分段数, 范围: [1, 无穷] count #读取条数, 范围: [1, 无穷] 输出: page #请求页码 ping #请求段号 page_ping #每页分段数 count #要获取的记录数, 当前应用场景含义为: 每段记录数 page_to_offset 输入: page #请求页码, 范围: [1, total_page], 超过范围以边界计, 即0修正为1, total_page + 1修正为total_page total_record #总记录数, 范围: [1, 无穷] count #要获取的记录数, 当前应用场景含义为: 每页条数, 范围: [1, 无穷] 输出: offset #偏移量 count #读取条数 offset_to_page 输入: offset #偏移量(必须按照count对齐, 即可以被count整除), 范围: [0, 无穷] count #读取条数, 范围: [1, 无穷] 输出: page #请求页码 count #要获取的记录数, 当前应用场景含义为: 每页条数 sql_parser #将符合mysql语法规范的SQL语句解析得到各个组件 输入: sql #要解析的sql语句 输出: sql_components #SQL解析后的字段 sql_restore #将SQL语句组件集转换为SQL语句 输入: sql_components #要还原的SQL语句组件集 输出: sql #还原后的SQL语句 sql_to_count #将符合mysql语法规范的SELECT语句转换为获取计数 输入: sql_components #要转换为查询计数的SQL语句组件集 alias #计数字段的别名 输出: sql_components #转换后的查询计数SQL语句组件集 sql_add_offset 输入: sql_components #要增加偏移的SQL语句组件集, 不允许存在LIMIT组件 offset #偏移量(必须按照count对齐, 即可以被count整除), 范围: [0, 无穷] count #要获取的记录数, 范围: [1, 无穷] 输出: sql_components #已增加LIMIT组件的SQL语句组件集 sql_add_since #增加since_id式的范围 输入: sql_components #要增加范围限定的SQL语句组件集 prev_id #标记上一次请求得到的数据左边界 next_id #标记上一次请求得到的数据右边界 输出: sql_components #增加since_id模拟快照的范围限定后的SQL语句组件集 datas_boundary #获取当前数据集的边界 输入: sql_components #要读取的数据集对应的SQL语句组件集 datas #结果数据集 输出: prev_id #当前数据集左边界 next_id #当前数据集右边界 mysql_paginate_query #执行分页支持的SQL语句 输入: sql #要执行的业务SQL语句 offset #偏移量(必须按照count对齐, 即可以被count整除), 范围: [0, 无穷] count #读取条数, 范围: [1, 无穷] prev_id #标记上一次请求得到的数据左边界 next_id #标记上一次请求得到的数据右边界 输出: datas #查询结果集 offset #偏移量 count #读取条数 prev_id #当前数据集的左边界 next_id #当前数据集的右边界 6. 实现的执行流程 分段式分页应用(page, ping, page_ping, count): total_record = sql_to_count(sql); (offset, count) = ping_to_offset(page, ping, page_ping, count, total_record) (datas, offset, count) = mysql_paginate_query(sql, offset, count, NULL, NULL); (page, ping, page_ping, total_record, count) = offset_to_ping(offset, page_ping, count, total_record); return (datas, page, ping, page_ping, total_record, count); 传统分页应用(page, count): total_record = sql_to_count(sql); (offset, count) = page_to_offset(page, count, total_record) (datas, offset, count) = mysql_paginate_query(sql, offset, count, NULL, NULL); (page, total_record, count) = offset_to_page(offset, count, total_record); return (datas, page, total_record, count); since_id分页应用(count, prev_id, next_id): total_record = sql_to_count(sql); (datas, offset, count, prev_id, next_id) = mysql_paginate_query(sql, NULL, count, prev_id, next_id); return (count, prev_id, next_id); 复合型分段式分页应用(page, ping, page_ping, count, prev_id, next_id): total_record = sql_to_count(sql); (offset, count) = ping_to_offset(page, ping, page_ping, count, total_record) (datas, offset, count, prev_id, next_id) = mysql_paginate_query(sql, offset, count, prev_id, next_id); (page, ping, page_ping, total_record, count) = offset_to_ping(offset, page_ping, count, total_record); return (datas, page, ping, page_ping, total_record, count, prev_id, next_id); 复合型传统分页应用(page, count, prev_id, next_id): total_record = sql_to_count(sql); (offset, count) = page_to_offset(page, count, total_record) (datas, offset, count, prev_id, next_id) = mysql_paginate_query(sql, offset, count, prev_id, next_id); (page, total_record, count) = offset_to_page(offset, count, total_record); return (datas, page, total_record, count, prev_id, next_id); mysql_paginate_query(sql, offset, count, prev_id, next_id) need_offset = is_null(offset); need_since = is_null(prev_id) || is_null(next_id); sql_components = sql_parser(sql); if ( need_offset ) : sql_components = sql_add_offset(sql_components, offset, count); endif if ( need_since ) : sql_components = sql_add_since(sql_components, prev_id, next_id); endif sql = sql_restore(sql_components); datas = mysql_execute(sql); (prev_id, next_id) = datas_boundary(sql_components, datas); ret = (datas); if ( need_offset ) : append(ret, offset, count); endif if ( need_since ) : append(ret, prev_id, next_id); endif return (ret); 7. 测试点 1) 传统分页 2) 分段分页 3) 原始分页 4) since_id分页 5) 复合型传统分页 6) 复合型分段分页 7) 复合型原始分页 8. 测试数据构建 DROP DATABASE IF EXISTS `paginate_test`; CREATE DATABASE IF NOT EXISTS `paginate_test`; USE `paginate_test`; DROP TABLE IF EXISTS `feed`; CREATE TABLE IF NOT EXISTS `feed` ( `feed_id` INT NOT NULL PRIMARY KEY AUTO_INCREMENT COMMENT '微博ID', `ctime` INT NOT NULL COMMENT '微博创建时间', `content` CHAR(20) NOT NULL DEFAULT '' COMMENT '微博内容', `transpond_count` INT NOT NULL DEFAULT 0 COMMENT '微博转发数' ) COMMENT '微博表'; DROP TABLE IF EXISTS `comment`; CREATE TABLE IF NOT EXISTS `comment` ( `comment_id` INT NOT NULL PRIMARY KEY AUTO_INCREMENT COMMENT '评论ID', `content` CHAR(20) NOT NULL DEFAULT '' COMMENT '评论内容', `feed_id` INT NOT NUL COMMENT '被评论微博ID' ) COMMENT '评论表'; DROP TABLE IF EXISTS `hot`; CREATE TABLE IF NOT EXISTS `hot` ( `feed_id` INT NOT NULL PRIMARY KEY AUTO_INCREMENT COMMENT '微博ID', `hot` INT NOT NULL DEFAULT 0 COMMENT '微博热度' ) COMMENT '热点微博表'; 9. 测试用例: 1) 搜索最热微博(SELECT f.feed_id, f.content, h.hot FROM feed AS f JOIN hot AS h ON f.feed_id = h.feed_id ORDER BY hhot DESC, f.feed_id DESC) 2) 搜索热评微博(SELECT f.feed_id, f.content, COUNT(c.*) AS count FROM feed AS f JOIN comment AS c ON f.feed_id = c.feed_id GROUP BY c.feed_id ORDER BY count DESC, f.feed_id DESC) 3) 搜索热转微博(SELECT feed_id, content, transpond_count FROM feed ORDER BY transpond_count DESC, feed_id DESC) 4) 上面3种场景均测试7个测试点 10. 文件列表 readme.txt 当前您正在阅读的开发文档 page.lib.php 分页程序库 test_base.php 单元测试基础函数 test_convert.php 不同分页之间的转换单元测试 test_parse.php SQL语句解析测试 test_page.php 分页测试
mysql-分页数据重复
一个博客
07-13 920
以前碰到过类似问题，是因为排序字段导致的，因为排序字段一样导致分页临界点的查询数据展示可能会重复。分页查询不同页出现重复数据，底层实现都是使用limit。从51条开始，显示后面的100条。第101条开始的50条数据。
mysql 分页查询数据重复出现
学为
05-19 2741
mysql分页数据重复
解决MySQL中分页查询时多页有重复数据，实际只有一条数据的问题
程序员大腾的博客
07-19 1439
使用主键进行分页查询就不会产生数据排序重复/缺失的问题
避坑：MySQL分页时出现的数据重复问题
m0_38048955的博客
04-06 2007
在MySQL中我们通常会采用limit来进行翻页查询
mysql分页查询出现重复数据
最新发布
lwy23czl的博客
01-05 490
就是因为在分页排序的时候，排序字段的值出现重复，就会导致分页结果不正确。因为sql多个字段排序，先按第一个排序字段排序，如果第一个排序字段的值相等，则按第二个排序字段排序，以此类推…所以尽量使用值唯一的字段进行排序，如果无法避免，则使用值唯一的字段(例如时间戳)充当第二个排序字段。在查询语句的排序字段中再加上一个排序字段。尽量要求是当第一个排序字段重复时，值能够唯一的。第一条sql是根据是否置顶排序查询test表的。第二条sql是根据是否置顶排序查询test表的。结果发现id=10的数据。
mysql 开发技巧之JOIN 更新和数据查重/去重
01-19
主要涉及：JOIN 、JOIN 更新、GROUP BY HAVING 数据查重/去重 1 INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL JOIN(MySQL 不支持)、CROSS JOIN 这是在网上找到的非常好的一篇博文，图解 join 语句： CODING HORROR-A Visual Explanation of SQL Joins 下图可以很清楚的明白，join 的数据选取范围 [][1] [1]: http://7xs09x.com1.z0.glb.clouddn.com/160725-imooc-mysql-development-skills-no
解决 MySQL 分页数据错乱重复
weixin_34104341的博客
05-04 484
前言 一天，小明很着急地在通讯工具上说：这边线上出现了个奇怪的问题，麻烦 DBA 大大鉴定下，执行语句 select xx from table_name wheere xxx order by 字段A limit offset;， 表数据总共 48 条，分页数量正常，但出现了结果混杂的情况，第一页的数据出现在了第二页上；如果 order by 字段B 就不会出现这个现象，怎么会这样呢！ 其实，...
mysql数据库SQL语句orderBy排序同时limit分页出现数据重复问题
快敲代码去
04-26 2245
mysql数据库SQL语句orderBy排序同时limit分页出现数据重复问题
MySQL - 当LIMIT 进行分页时，为什么出现了重复数据
Soinice的博客
12-03 5130
哦，这时写的一个破SQL，遗留了个问题，没有去注意，所以造成了，有重复数据。因为引用了 PageHelper 插件，期初还以为是 插件有问题。后来想想，毕竟整个框架都是用的这个插件，就算有问题早应该会出现了。所以，第一时间想到了SQL，的确，去了排序就没有问题。 说在前面 数据库分页是后台经常要使用的技术手段，有时候进行数据库查询会根据业务需要对某一字段排序，那么当待排序字段值相同时，我们...
mysql limit分页遇到order by出现重复数据问题
qq_37906614的博客
05-31 1343
在mysql中我们通常会采用limit来进行翻页查询，比如limit(0,10)表示列出第一页的10条数据，limit(10,10)表示列出第二页。但是，当limit遇到order by的时候，可能会出现翻到第二页的时候，竟然又出现了第一页的记录。在MySQL 5.6的版本上，优化器在遇到order by limit语句的时候，做了一个优化，即使用了priority queue。……使用 prio...
MYSQL分页查询时没有用ORDER BY出现数据重复的问题
翎野君的博客
01-22 2283
背景 产品反馈，用户在使用分页列表时，出现数据重复的问题，查看代码后发现对应的分页SQL并没有使用order by进行排序，但是印象中Mysql的InnoDB引擎会默认按照主键id进行排序，本地测试了一下的确出现了部分数据在不同的页都出现的问题。 于是带着问题去查阅相应的资料，发现原先的认知是错误的。 如果没有定义 order by MySQL使用SELECT 语句不加ORDER BY默认是如何...
MySQL分页查询limit数据重复踩坑记
云树在路上
03-24 1664
1. 问题背景 线上有一个批处理任务，会批量读取昨日的数据，经过一系列加工后，插入到今日的表中。表结构如下： CREATE TABLE `detail_yyyyMMdd` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键', `batch_no` varchar(64) NOT NULL COMMENT '批次号', `order_id` varchar(64) NOT NULL COMMENT '订单ID', `user_id` v
Mysql排序后分页 分页数据有重复
Wis57的博客
03-26 1081
MySQL 使用 limit 进行分页时，可能会出现重复数据，通过加入 order by 子句可以解决，但是需要注意的是，如果排序字段有相同值的情况下，由于排序字段数据重复,可能会导致每次查询排序后结果顺序不同，分页还是会出现重复数据，这时可以加入第二个排序字段，提高排序的唯一性，最好保证排序的字段在表中的值是唯一的，这样就可以少写一个排序字段，增加查询效率，因为 order by 后面有多个排序字段时，无法用到索引。
mysql分页查询会有重复数据
05-14
是的，MySQL分页查询可能会出现重复数据，这是由于MySQL的分页查询是基于LIMIT和OFFSET实现的，而不是根据实际的页码数进行分页。当使用LIMIT和OFFSET进行分页时，如果查询结果中有新增或删除的数据，则会导致页码...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

乃真卧龙凤雏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值