MySQL 里有 2000w 数据,Redis 中只存 20w 的数据,如何保证 redis 中的数据都是热点数据?
1.Redis 过期删除策略
Redis 过期删除策略
1)惰性删除:放任键过期不管,但是每次从键空间中获取键时,都检查取得的键是否过期,如果过期的话,就删除该键;如果没有过期,就返回该键。
2)定期删除:每隔一段时间程序就对数据库进行一次检查,删除里面的过期键。至于要删除多少过期键,以及要检查多少个数据库,则由算法决定。
2.内存淘汰策略
Redis 内存数据集大小上升到一定大小的时候,就会施行数据淘汰策略。
Redis 提供 8 种数据淘汰策略:
LRU全称Least recently used, 淘汰的是最近最少被使用的数据项。(时间概念) 最近最少
LFU全称Least-frequently used,淘汰的是访问频率最低的数据项。 一直最少
| 淘汰策略名称 | 策略含义 | 人话 |
默认策略 | noeviction 【ɪˈvɪkʃn】:驱逐;驱赶 | 不淘汰数据;写不进去返回错误 | 不删除任意数据,这时如果内存不够时,会直接返回错误。 |
只针对设置过期的keys | volatile-lru | 根据 LRU 算法挑选数据淘汰 | 从设置了过期时间的数据集中,选择最近最久未使用的数据释放 |
volatile-lfu | 根据 LFU 算法挑选数据淘汰(4.0及以上可用) | 淘汰掉设置了过期时间的key过去被访问次数最少的数据 | |
volatile-random | 随机挑选数据淘汰 | 从设置了过期时间的数据集中,随机 | |
volatile-ttl | 挑选越早过期的数据进行删除 | 从设置了过期时间的数据集中,选择马上就要过期的数据进行释放操作 | |
所有keys | allkeys-lru | 根据 LRU 算法挑选数据淘汰 | 从数据集中(包括设置过期时间以及未设置过期时间的数据集中),选择最近最久未使用的数据释放 |
allkeys-random | 随机挑选数据淘汰 | 随机选择一个数据进行释放; | |
allkeys-lfu | LFU 算法挑选数据淘汰(4.0及以上版本可用) | 淘汰掉过去被访问次数最少的一条数据 |
3.Redis主从同步机制
Redis主从同步机制
步骤如下:(全量-增量)
1.从服务器向主服务器发送同步命令 sync;
2.主服务器接收到同步命令后,会执行 bgsave 命令,在后台生成一个 rdb 文件,并使用一个缓冲区记录从现在开始执行的所有写命令;
3.当主服务器执行完 bgsave 命令后,主服务器会将 bgsave 命令生成的 rdb 文件发送给从服务器;
4.从服务器接收到这个 rdb 文件,然后加载到内存 ;之后主服务器会把刚刚在缓存区的命令同步过来,从服务器就会执行这些命名。(两边就一致了)
5.以上处理完之后,之后主数据库每执行一个写命令,都会将写命令发送给从数据库。
4.Redis是单线程,但为什么快
1. 纯内存操作
2. 单线程操作,避免了频繁的上下文切换
3. 合理高效的数据结构
4. 采用了非阻塞I/O多路复用机制 epool,天生支持高并发。
5.Redis 和 Mysql 数据库数据如何保持一致性?
如何保证数据库和缓存的双写一致性.mp4(3.9 MB)
5.1前言
我们在实际项目中经常会使用到Redis缓存用来缓解数据库压力,但是当更新数据库时,如何保证缓存及数据库一致性,一般我们采用延时双删策略。
目前系统中常用的做法是一个查询接口,先查询Redis,如果不存在则查询数据库,并将结果放入到Redis中。
为什么是删除缓存,而不是更新缓存呢?主要是如果缓存的内容是带有树型结构或者List,Map,那么更新其中一个内容相对较慢。
本文所讲操作,均是按照如果缓存不存在,查询数据库后,再放入Redis。
5.2 常见更新策略
1 先删缓存,再更新数据库
2 先更新数据库,再删除缓存
3 普通双删
4 延迟双删
5.3 图解
5.3.1 先删缓存,再更新数据库
1、线程A删除缓存数据,此时还没更新数据库
2、线程B查询缓存没有数据,查询数据库还是旧数据,放入缓存
3、线程C及其他线程使用旧缓存数据,缓存和数据库不一致
5.3.2 先更新数据库,再删除缓存
1、线程A更新数据库,此时还没有删除缓存
2、线程B及其他线程此时使用的还是旧缓存数据,和数据库内容不一致
5.3.3 普通双删
1、线程A先删除缓存,再更新数据库,再删除缓存
2、线程B查询缓存没有数据,在线程A更新数据库之前,查询到旧数据,此时系统时间片切换到线程A执行删除缓存,之后又轮到线程B放入缓存旧数据
3、线程C针对于线程A,查询缓存没有数据,查询到旧数据,放入缓存旧数据
都不能满足缓存和数据一致性。
5.3.4 延迟双删
1、线程A先删除缓存,之后更新数据库
2、线程B和线程C发现缓存没数据,查询数据库。线程B查询到的是旧数据,线程C查询到的是新数据。之后纷纷放入缓存
3、线程A延时3-5秒(时间一般要大于SQL执行时间+线程切换执行时间100ms足够),再将缓存删除。之后其他线程再查询缓存,发现没数据,再次查询数据库及放入缓存都是新数据
极端情况就是线程D,所以延时双删还是不一定能保证缓存及数据一致。
5.4 建议
1、在发现缓存没有数据后,在执行查询数据库前,对该Key进行加锁,查询数据库并放入缓存后再解锁,这样可以避免缓存击穿问题,当某个redis数据不存在时,大量线程并发查询数据库。
2、在需要执行双删前,对该Key进行加锁,之后执行删除缓存,更新数据库,放入新数据到缓存,在解锁。保证缓存和数据一致性。
3、加锁的Key都需要设置过期时间,避免因为宕机造成死锁。
6.Redis集群模式有哪些?
Redis架构演变之路
Redis有哪些集群模式
Redis提供了多种集群模式以适应不同场景下的高可用性和水平扩展需求。以下是Redis集群模式:
-
主从复制(Master-Slave)模式:
-
在此模式下,有一个主节点负责处理写入请求,而从节点则复制主节点的数据并提供读取服务。
-
优点:实现简单,能实现数据冗余,通过读写分离提高系统性能。
-
缺点:需要手动进行故障转移,无法自动处理主节点故障;不支持自动的数据分区(sharding),难以做到水平扩展。
-
哨兵(Sentinel)模式:
-
Sentinel是Redis提供的一个高可用性解决方案,它能监控主从节点状态,并在主节点出现故障时自动完成故障转移。
-
优点:解决了主从模式下手动故障转移的问题,提供了自动化监控和故障恢复机制。
-
缺点:虽然比主从模式增加了自动化,但仍不支持自动的数据分区,且随着节点数量增加,管理和配置的复杂性也会增大。
-
Redis Cluster模式:
-
Redis Cluster是官方正式支持的分布式解决方案,它采用了数据分片(sharding)技术,将数据分散在多个节点上。
-
优点:真正实现了分布式存储,每个节点都可以处理读写请求,具备良好的水平扩展能力;内置了数据自动分割、故障检测与转移功能。
-
缺点:相比其他模式更复杂,需要更多的网络资源和配置管理;客户端需要支持集群特性;跨slot的数据操作可能涉及多个节点,有一定复杂度。
7.Redis使用场景
10中种常见的Redis使用场景
8.面试题
五个Redis面试题
五个Redis面试题,你看你会吗