redis集群批量删除指定的key

工作中遇到一个问题,redis中存储了大量的key,而且没有设置时效,其中很大一部分后来都没用了,导致redis体积庞大,查询缓慢。服务器版本为windows,网上搜索到很多批量删除的方法都是Linux下的,几番寻找,终于找到了在windows下批量删除超大量key的方法。
首先贴一下Linux下的方法:

 redis-cli keys"*" |xargs redis-cli del

//如果redis-cli没有设置成系统变量,需要指定redis-cli的完整路径,加入redis-cli的安装路径如下:
这里写图片描述
那么在gitbash上模拟的linux命令则如下:

./redis-cli keys "*lz*"|xargs ./redis-cli del

原理就是通过xargs工具将前半部分的查询结果借助管道传递给后面的删除命令,进而实现循环删除,达到批量删除的结果。
But,测试的时候趣发现这条命令不好使,测试结果如下图所示,具体的原因不明:
这里写图片描述


作为替代方案,我找到了windows、Linux下均试用的方法:
使用lua脚本:

redis-cli eval "redis.call('del', unpack(redis.call('keys','*')))" 0

但这种处理方式,量大的情况下,lua函数unpack会出现问题,会报错误

(error) ERR Error running script (call to f_e177a091510d969af3b388ee986dbe6658df6b57): user_script:1: too many results to unpack

解决方法:
一次性unpack太多会出问题,那就干脆一次5000吧,这样就不会有问题了,实测速度非常快哦。

redis-cli eval "local keys = redis.call('keys', ARGV[1]) for i=1,#keys,5000 do redis.call('del', unpack(keys, i, math.min(i+4999, #keys))) end return #keys" 0 'value*'

所以最终实现我的需求的代码就是:

redis-cli eval "redis.call('del', unpack(redis.call('keys','*lz*')))" 0

redis-cli eval "local keys = redis.call('keys', ARGV[1]) for i=1,#keys,5000 do redis.call('del', unpack(keys, i, math.min(i+4999, #keys))) end return #keys" 0 '*lz*'

上述语句的执行原理其实是递归调用,通过递归最终实现了批量删除。


在redis集群中可以借助脚本实现集群上的批量删除,这个还没测试过。参考文章如下:
redis集群批量删除指定的key

本文参考文章:
redis批量删除key (windows适用)

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Redis Cluster 是 Redis 分布式方案中的一种集群模式,在 Redis Cluster 中,数据会被自动切割成多个部分并存储在多个节点中,这样可以实现数据的高可用性和水平扩展。 在客户端使用 Redis Cluster 批量删除 key,首先需要获取集群中的节点列表。通过客户端连接集群中的任意一个节点,可以使用命令 `CLUSTER NODES` 获取集群节点的列表信息。 获取到节点列表后,可以使用 `SCAN` 命令扫描每个节点的 key,找到需要删除key删除。由于 Redis Cluster 中每个节点只存储部分副本,需要在集群中的所有节点上进行操作,才能保证数据的完整性。 例如,使用 Python 客户端 Redis-py 进行批量删除 key,可以按照以下步骤进行: ```python import redis # 连接 Redis Cluster startup_nodes = [{"host": "127.0.0.1", "port": "6379"}] rc = redis.StrictRedisCluster(startup_nodes=startup_nodes, decode_responses=True) # 扫描每个节点的 key,找到需要删除key删除 for node in rc.nodes.values(): cursor = 0 while True: scan_result = node.scan(cursor=cursor, count=1000, match="prefix:*") keys = scan_result[1] for key in keys: node.delete(key) cursor = scan_result[0] if cursor == 0: break ``` 以上代码中,设置 `match` 参数来指定批量删除key 的前缀。批量删除 key 可能会对 Redis Cluster 造成较大的负载压力,因此需要谨慎操作。如果需要删除所有的 key,可以考虑重建 Redis Cluster。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值