Redis——BigKey问题

已于 2023-04-26 17:52:33 修改
阅读量679 收藏 1
点赞数
分类专栏： Redis 文章标签： redis 数据库 缓存
于 2023-04-26 17:23:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zssxcj/article/details/130385727
版权

目录

MoreKey案例

测试数据

如何向redis数据库中一次性的插入100W条数据

如何将 100W条数据一次性写入redis数据库中

遍历百万、千万级别数据能否使用keys *?

生产上如何限制keys *、flushdb、flushall等危险命令？

不使用keys *使用什么遍历？

使用scan命令——用于迭代数据库中的数据库键

BigKey案例

多大算Big？

如何发现BigKey?

--Bigkeys命令

memory usage

 如何删除BigKey？

BigKey生产调优

MoreKey案例

测试数据

如何向redis数据库中一次性的插入100W条数据

生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中

for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;

如何将 100W条数据一次性写入redis数据库中

利用redis提供的管道命令 -pipe插入100W条数据

cat /tmp/redisTest.txt | redis-cli -h 本地主机 -p 端口号 -a 密码 --pipe

遍历百万、千万级别数据能否使用keys *?

key * 这个指令有致命的弊端，在实际环境中最好不要使用

keys*这个指令相当于一次性吐出所有key，由于redis是单线程的，所有的操作都是原子性的，keys算法属于遍历算法，时间复杂度是O(n)，在实际生产环境中如果执行该指令，可能会导致redis服务卡顿，更严重的可能会导致redis缓存雪崩或者数据库宕机宕机

生产上如何限制keys *、flushdb、flushall等危险命令？

通过修改redis.conf配置文件

 （ps:记得重启redis）

（pps:如果aof及rdb文件中包含了禁用掉的命令，redis会启动失败，需要删除对应aof及rdb文件）

不使用keys *使用什么遍历？

使用scan命令——用于迭代数据库中的数据库键

 语法：

SCAN cursor [MATCH pattern] [COUNT count]

-cursor:游标

-pattern：匹配的模式

-count：指定从数据集中返回多少元素，默认为10

BigKey案例

大key问题本质上是key对应的value大

多大算Big？

--String是value，最大512M但是超过10kb就是BigKey

--list、set、hash、zset个数超过5000就算是BigKey

如何发现BigKey?

--Bigkeys命令

redis-cli -h 本地主机名 -p 端口号 -a 密码  --bigkeys

给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小，但不能查询到大于10kb的所有key

memory usage

 memory usage key

 如何删除BigKey？

参考《阿里云Redis开发规范》

BigKey生产调优

redis.conf优化配置

要向着光
关注
专栏目录
Redis——BigKey
qq_51578257的博客
09-05 532
当redis key的数量过多时，使用keys*会耗费大量时间和性能，因此在生产上需要禁用一些危险命令。在 redis.conf 文件 SECURITY 板块中设置 rename-command例如禁用keys，flushdb，flushall。
Redis——大Key问题
娜娜米的博客
06-06 1798
​ 上一篇文章（https://blog.csdn.net/minghao0508/article/details/123972442）讲了Redis的热点key问题，本篇介绍Redis大Key问题的概念，大Key问题产生的原因、危害以及解决大Key问题的思路； ​
redis——BigKey、MoreKey之理解
AllEN1027的博客
07-20 194
redis经典的bigkey问题
Redis中Big Key该如何解决？
echola_mendes的博客
08-16 1480
Redis的Big Key会给Redis带来的意想不到的危害，需要监控、及时发现和处理Big Key。在开发过程中需要选用适当的Redis数据结构开发业务，尽量避免big key。
redis——相关问题汇总
少说，多做。
10-16 2万+
什么是redis？ Redis 本质上是一个 Key-Value 类型的内存数据库， 整个数据库加载在内存当中进行操作， 定期通过异步操作把数据库数据 flush 到硬盘上进行保存。 因为是纯内存操作， Redis 的性能非常出色， 每秒可以处理超过 10 万次读写操作， 是已知性能 最快的 Key-Value DB。 Redis 的出色之处不仅仅是性能， Redis 最大的魅力是支持保存...
Redis高频面试基本问题整理
热门推荐
张彦峰的博客
04-07 170万+
对Redis一些重点内容进行整理总结用于查缺补漏
redis bigKey影响
qq690452074的专栏
03-21 192
redis bigKey影响
Redis大key问题
chen772209的博客
04-08 633
大key不仅仅是占用内存而已，如果是仅仅内存的问题 那么扩大内存就好了。 怎么解决bigkey？ 详情看以下这个链接：https://www.cnblogs.com/xgqfrms/p/13601959.html1.拆分多个key： 2.存到hash中 用hget 但删除会有性能问题redis hash和桶的结构用偏移量存桶里，hash算法 可以定位桶的位置 需要区分用户来源的场景： 推送违约订单需要区分来源1.比如电柜电量大key： 解决方法：。———以电柜编号最后一位分散到不同key。比如电柜编号为10
Redis——Module模块
FlyLikeButterfly的博客
03-24 4351
redis模块相关
Redis——Redis的扩展与应用
庄小焱
04-02 1476
Redis 和 Memcached 的区别？ Redis的高级的数据结构 String、Hash、List、Set、SortedSet。HyperLogLog、Geo、Pub/Sub。那你说还玩过Redis Module，像BloomFilter，RedisSearch，Redis-ML 避免缓存穿透的利器之BloomFilter 如果有大量的key需要设置同一时间过期，一般需要注意什么？ 如果大量的key过期时间设置的过于集中，到过期的那个时间点，Redis可能会出现短暂的卡顿现象。严重的.
Redis——Redis性能优化与技术选型原理
庄小焱
03-15 764
redis的拥有众多优点，但是的技术有利有弊，所以只有在redis最擅长的场景中才能让redis的作用发挥到最大的作用。同样的redis一样存在很多优化和改进的点。
Redis大key多key拆分方案
qq_42003636的博客
02-25 997
业务场景中经常会有各种大key多key的情况， 比如：1：单个简单的key存储的value很大2：hash， set，zset，list 中存储过多的元素（以万为单位）3：一个集群存储了上亿的key，Key 本身过多也带来了更多的空间占用（如无意外，文章中所提及的hash，set等数据结构均指redis中的数据结构 ）由于redis是单线程运行的，如果一次操作的value很大会对整个redis的响应时间造成负面影响，所以，业务上能拆则拆，下面举几个典型的分拆方案。
一文教你彻底打败Redis Bigkey和Hotkey问题
weixin_45563088的博客
03-19 1087
Redis Bigkey和Hotkey是Redis生产中两个比较常见的问题，本文从它们的概念、危害、发现、解决的角度，来分析一下这两个问题。
Java缓存面试题——Redis解决方案
二蛋的博客
02-28 6054
1、什么是缓存击穿？该如何解决2、什么是缓存穿透？该如何解决3、什么是缓存雪崩？该如何解决4、什么是BigKey？该如何解决bigkey的危害发现bigkey解决bigkey5、redis过期策略都有哪些？6、讲一讲Redis缓存的数据一致性问题和处理方案
Redis篇（Redis原理 - RESP协议）
wlcass zhengge blog
10-02 1363
Redis是一个CS架构的软件，通信一般分两步（不包括pipeline和PubSub）：客户端（client）向服务端（server）发送一条命令服务端解析并执行命令，返回响应结果给客户端因此客户端发送命令的格式、服务端响应结果的格式必须有一个规范，这个规范就是通信协议。Redis 1.2版本引入了RESP协议Redis 2.0版本中成为与Redis服务端通信的标准，称为RESP2。
Redis 实现 查找附近的人 功能
最新发布
分享技术，分享经验
10-09 509
使用 Redis 实现“查找附近的人”功能，通常会依赖 Redis 的Geo（地理位置）数据类型来存储用户的经纬度，并基于此进行地理范围查询。Redis 通过GEOADDGEORADIUS等命令来存储用户位置和查找一定范围内的用户。存储用户的地理位置：我们需要存储用户的经纬度信息，以便后续可以基于此进行地理查询。Redis 提供了GEOADD命令，允许将用户的经纬度信息存储在 Redis 中的有序集合中（底层基于ZSet实现）。根据当前用户的位置查找附近的用户：使用GEORADIUS或。
Redis --- 第二讲 --- 特性和安装
m0_67635008的博客
10-02 1285
Redis是一个在内存中存储数据的中间件，用于作为数据库，作为缓存，在分布式系统中能够大展拳脚。Redis的一些特性造就了现在的Redis。在内存中存储数据，通过一系列的数据结构。MySQL主要是通过“表”的方式来存储组织数据的“关系型数据库”。Redis主要是通过“键值对”的方式来存储组织数据的。key都是string，value则可以是上述的这些数据结构。Redis也可以被当作一个非关系型数据库。针对Redis的操作，可以直接通过简单的交互式命令进行操作。
【Redis】知识点整理（源于javaguide）
qq_45742383的博客
10-02 1233
Redis是一种开源的内存数据库，它支持键值存储，常被用作数据缓存、消息代理和队列等。它以高性能和支持多种数据结构而闻名，如字符串、哈希、列表、集合和有序集合。Redis也支持持久化，可以将数据存储在磁盘上，以确保数据不会因服务器重启而丢失。
redis——数据库表关系
01-03
Redis是一个内存数据库，它以键值对的形式存储数据。在Redis中，没有像传统关系型数据库中的表的概念，而是使用键空间来组织数据。 键空间是Redis中存储键值对的命名空间，类似于关系型数据库中的表。每个键都属于一个键空间，并且可以在键空间中进行操作。一个键空间可以包含多个键值对。 在Redis中，可以使用不同的命令来操作键空间和键值对。例如，可以使用SET命令将一个键值对存储到键空间中，使用GET命令获取键空间中的值，使用DEL命令删除键空间中的键值对等。 需要注意的是，Redis是一个内存数据库，数据存储在内存中，因此在掉电或重启后，数据会丢失。为了保证数据的持久性，可以使用Redis提供的持久化机制，如AOF（Append Only File）和RDB（Redis Database）来将数据写入磁盘，以便在重启后恢复数据。 总结来说，Redis中没有像传统关系型数据库中的表的概念，而是使用键空间来组织数据，每个键空间可以包含多个键值对。为了保证数据的持久性，可以使用Redis提供的持久化机制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值