Redis持久化

已于 2022-06-15 13:25:22 修改
阅读量79 收藏
点赞数
文章标签： redis 缓存 数据库
于 2022-06-15 08:45:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangzhanpu/article/details/125289711
版权

目录

一、Redis的持久化介绍

二、RDB

2.1手动触发

2.1.1 save

2.1.2 bgsave

2.1.3 对比

2.2 自动触发

2.3 流程说明

2.4 RDB文件的处理

2.4.1 保存

2.4.2 压缩

2.4.3 校验

2.5 RDB的优缺点

三、AOF

3.1 使用AOF

3.2 AOF工作流程

3.2.1 命令写入

3.2.2  文件同步

3.2.3 重写机制

3.2.4 重启加载

一、Redis的持久化介绍

Redis支持RDB 和 AOF两种持久化机制，持久化功能有效的避免因进程退出造成的数据丢失问题，当下次重启时利用之前持久化的文件即可实现数据恢复。

二、RDB

RDB持久化是把当前进程数据生成快照保存到硬盘的过程，触发RDB持久化过程分为手动触发和自动触发

2.1手动触发

2.1.1 save

阻塞当前Redis服务器，直到RDB过程完成为止，对内存比较大的实例会造成长时间的阻塞

2.1.2 bgsave

Redis进程执行fork操作创建子进程，RDB持久化过程由子进程负责，完成后自动结束。阻塞只发生在fork阶段，时间很短

2.1.3 对比

显然bgsave命令是针对save阻塞问题做的优化，因此Redis内部所有涉及RDB的操作都采用bgsave的方式

2.2 自动触发

1.使用save相关配置，如:save m n 。表示m秒内数据集存在n次修改时自动触发bgsave

2.如果从节点执行全量复制操作，主节点自动执行bgsave生成RDB文件并发送从节点

3.执行debug reload命令重新加载Redis时，自动触发save操作

4.默认情况下执行shutdown命令时，如果没有开启AOF持久化功能则自动执行bgsave

2.3 流程说明

1.执行bgsave命令，Redis父进程判断当前是否存在正在执行的子进程，如RDB/AOF子进程，如果存在bgsave命令直接返回

2.父进程执行fork操作创建子进程，fork操作过程中父进程会阻塞，父进程fork完成后bgsave命令返回"Background saving started"信息并不在阻塞父进程

3.子进程创建RDB文件，根据父进程内存生成临时快照文件，完成后对原有文件进行替换。

4.子进程发送信号给父进程表示完成，父进程更新统计数据

2.4 RDB文件的处理

2.4.1 保存

RDB文件保存在dir配置制定的目录下，文件名通过dbfilename配置制定。可以通过执行config set dir {newDir} 和 config set dbfilename {newFileName} 运行期动态执行，当下次运行时RDB文件会保存到新目录。

2.4.2 压缩

Redis默认采用LZF算法对生成的RDB文件做压缩处理，默认开启，可以通过 config set rdbcompression{yes|no}动态修改

2.4.3 校验

如果Redis加载损坏的RDB文件时拒绝启动，可以使用Redis提供的redis-check-dump工具检测RDB文件并获取对应的错误报告

2.5 RDB的优缺点

优点：

1.RDB是一个紧凑压缩的二进制文件，代表Redis在某个时间点上的数据快照，比如每6小时执行bgsave备份，并把RDB文件拷贝到远程机器或者文件系统中

2.Redis加载RDB恢复数据远远快于AOF

缺点：

1.RDB方式数据没办法做到实时持久化/秒级持久化。因为bgsave每次运行都要执行fork操作创建子进程，属于重量级操作，频繁执行成本过高

2.RDB文件使用特定二进制格式保存，Redis版本演进过程中有多个格式的RDB版本，存在老版本Redis服务无法兼容新版RDB格式的问题

三、AOF

AOF持久化：以独立日志的方式记录每次写命令，重启时在重新执行AOF文件中的命令达到恢复数据的目的。AOF的主要作用是解决了数据持久化的实时性。

3.1 使用AOF

开启AOF功能需要设置配置：appendonly yes,默认是不开启

AOF文件名通过appendfilename 配置设置，默认文件名是appendonly.aof。保存路径同RDB持久化方式一致，通过dir配置制定

3.2 AOF工作流程

命令写入→文件同步→文件重写→重启加载

1).所有的写入命令会追加从到aof_buf（AOF缓冲区）中

2).AOF缓冲区根据对应的策略向硬盘做同步操作

3).随着AOF文件越来越大，需要定期对AOF文件进行重写，达到压缩的目的

4).当Redis服务器重启时，可以加载AOF文件进行数据恢复。

3.2.1 命令写入

AOF命令写入的内容直接是文本协议格式

1.AOF为什么直接采用文本协议格式?

  • 文本协议具有很好的兼容性
  • 开启AOF后，所有写入命令都包含追加操作
  • 文本协议具有可读性，方便直接修改和处理

2.AOF为什么把命令追加到aof_buf中？

Redis使用单线程响应命令，如果每次写AOF文件命令都直接追加到硬盘，那么性能完全取决与当前硬盘负载。先写入缓存区，redis可以提供多种缓存区同步硬盘的策略，在性能和安全方面做出平衡

3.2.2  文件同步

Redis提供了多种AOF缓存区同步文件策略，由参数appendfsync控制

  • always:命令写入缓存区后调用系统fsync操作同步到AOF文件，fsync完成后线程返回
  • everysec:命令写入缓存区后调用系统write操作，write完成后线程返回。fsync同步文件操作由专门线程每秒调用一次（系统推荐最优配置）
  • no：命令写入缓存区后调用系统write操作，不对AOF文件做fsync同步，同步硬盘操作由操作系统负责，通常同步周期最长30秒

3.2.3 重写机制

随着命令不断写入AOF，文件会越来越大，Redis引入AOF重写机制压缩文件体积，AOF文件重写是把Redis进程内的数据转化为写命令同步到新AOF文件的过程

重写后AOF文件为什么变小？

  • 进程内已经超时的数据不再写入文件
  • 旧的AOF文件含有无效命令，如如del,hdel等，重写使用进程内数据直接生成，这样新的AOF文件只保留最终数据的写入命令
  • 多条命令可以合并为一个，如lpush list a、 lpush list b 可以转化为lpush list a b c。

AOF重写降低了文件占用空间，可以更快的被Redis加载

AOF重写过程可以手动触发和自动触发：

手动触发：直接调用bgrewriteaof命令

自动触发：根据auto-aof-rewrite-size（表示运行AOF重写时文件最小体积，默认64MB）和auto0aof-rewrite-percentage(代表当前AOF文件空间和上一次重写后AOF文件空间的比值)参数确定自动触发时机

重写流程：

  1. 执行AOF重写请求，如果当前进程正在执行AOF重写，请求不执行；如果当前进程正在执行bgsave操作，重写命令延迟到bgsave完成后执行。
  2. 父进程执行fork创建子进程，开销等同于bgsave过程
  3. 主进程fork完成后继续响应其他命令，所有修改命令依然写入AOF缓冲区并根据appendfsync策略同步到硬盘，保证与哪有AOF机制正确性
  4. 由于fork操作运用写时复制技术，子进程只能贡献fork操作时的内存数据。由于父进程依然响应命令，Redis使用“AOF重写缓存区”保存这部分新数据，防止新AOF文件生成期间丢失这部分数据
  5. 子进程根据内存快照按照命令合并规则写入到新的AOF文件。每次批量写入硬盘数据量由配置aof-rewrite-incremental-fsync控制，默认32MB，防止单次刷盘数据过多造成硬盘阻塞。
  6. 新AOF文件写入完成后，子进程发送信号给父进程，父进程更新统计信息
  7. 父进程把AOF重写缓存区的数据写入到新的AOF文件
  8. 使用新AOF文件替换老文件，完成AOF重写

3.2.4 重启加载

AOF和RDB文件都可以用于服务器重启时的数据恢复，流程：

  1. AOF持久化开启且存在AOF文件时，优先加载AOF文件
  2. AOF关闭或者AOF文件不存在时，加载RDB文件
  3. 加载AOF/RDB文件成功后，Redis启动成功
  4. AOF/RDB文件存在错误时，Redis启动失败并打印错误信息
大小不少年
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis数据持久化
Tips的博客
05-17 213
思维导图 AOF日志 如何实现：写后日志，Redis先执行命令，把数据写入内存，然后记录日志（记录的是修改数据集的命令） 为什么要先执行命令再记日志 避免额外的检查开销 AOF日志文件中保存的是Redis执行修改数据集的命令。在写入日志文件时并不会检查这些命令是否有语法错误，所以，如果先写入日志在执行命令的话，日志中可能记录的就是错误的命令，当Redis使用日志进行数据恢复时，就会出错。 Redis 使用写后日志这一方式的一大好处是，可以避免出现记录错误命令的情况。 不会阻塞当前写操作
redis持久化
01-07
redis持久法的方式主要为两种：快照（rdb）；写日志（aof）； rdb原理 rdb实现持久化主要是将当前进程中的数据生成快照保存到硬盘上，在重启的时候读取硬盘上的数据（如果同时配置了aof，将会先执行aof策略，因为...
Redis6篇 （六）Redis持久化
cV展示的学习园
08-17 791
十、Redis持久化 10.1 RDB持久化 在指定的时间间隔内将内存中的数据集快照写入磁盘， 也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里 10.1.1 持久化执行流程 Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到 一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。 整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能 如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方
redis持久化原理、缓存问题处理方案
热门推荐
qq_24101357的博客
04-20 5万+
redis持久化 redis开机的时候—>加载持久化文件（第一次开启的时候没有）—>启动了—>会写入一些数据 —>redis会在某一时刻把内存的数据写入磁盘（生成持久化文件） 1.RDB持久化原理 原理是redis会单独创建（fork）一个和当前线程一模一样的子进程来进行持久化，这个子进程的所有数据 （变量、环境变量、程序计数器等）和原进程一模一样，会先将数据写入到一个临时文件中，待持久化结束， 再用这个临时文件替换上次持久化好的文件，整个过程中，主进程不进行任何io操作，这就确保
Redis 持久化存储方案
挖坑埋你
01-12 1万+
从严格意义上说，Redis服务提供四种持久化存储方案：RDB、AOF、虚拟内存（VM）和　DISKSTORE。虚拟内存（VM）方式，从Redis Version 2.4开始就被官方明确表示不再建议使用，Version 3.2版本中更找不到关于虚拟内存（VM）的任何配置范例，Redis的主要作者Salvatore Sanfilippo还专门写了一篇论文，来反思Redis对虚拟内存（VM）存储技术的支
Redis 持久化，超详细吐血总结（7）
屎壳郎先生
07-10 7804
我们熟知redis是内存数据库，它将自己的数据存储在内存里面，如果如图redis进程退出或突然宕机，数据就会全部丢失，因此必须有一种机制来保证 Redis 的数据不会因为故障而丢失，这种机制就是 Redis 的持久化机制。 Redis 的持久化机制有三种，第一种是快照(RDB)，第二种是 AOF 日志，第三种是混合持久化。快照是一次全量备份，AOF 日志是连续的增量备份。快照是内存数据的二进制序...
Redis 持久化
Zyw907155124的博客
01-05 1881
Redis 持久化配置 ：RDB、AOF、混合持久化 RDB：save、bgsave AOF:自动触发AOF重写、AOF重写机制 Redis 4.0 混合持久化：混合持久化配置 Redis持久化关闭未生效：不同版本Redis关闭RDB的坑
redis持久化方式
01-13
介绍redis两种持久化方式及配置，以及它们各自的优缺点
02-Redis持久化、主从与哨兵架构详解.zip
11-18
Redis是一款高性能的键值对内存数据库，常用于缓存、消息队列以及数据持久化等场景。本资料包主要探讨Redis的三个核心概念：持久化、主从复制和哨兵架构，这些都是确保Redis高可用性和数据安全的重要机制。 首先，...
Windows环境安装Redis和Redis Desktop Manager图文详解教程
最新发布
谷哥的小弟
07-07 796
Redis是一个开源的高性能键值对数据库，以其卓越的读写速度而著称，广泛用于数据库、缓存和消息代理。它主要将数据存储在内存中，从而实现快速的数据处理，同时提供了数据持久化功能，以防止系统故障时数据丢失。Redis支持多种数据类型，包括键值对、列表、集合、有序集合、散列、HyperLogLogs和地理空间索引，满足不同场景的数据存储需求。它的原子操作确保了在多线程环境中的数据一致性和完整性，而发布/订阅功能则允许多个客户端订阅频道，实现消息的实时传递。
8、Redis 的线程模型、I/O 模型和多线程
qq_29434541的博客
07-07 537
Redis 基于 Reactor 模式开发了网络事件处理器 - 文件事件处理器（file event handler，简称 FEH）。该处理器是单线程的，所以 Redis 设计为单线程模型。通过 I/O 多路复用同时监听多个 socket，根据 socket 当前执行的事件选择对应的事件处理器。当被监听的 socket 准备好执行 accept、read、write、close 等操作时，FEH 调用 socket 关联的事件处理器处理事件。
6、Redis系统-数据结构-03-压缩列表
qq_29434541的博客
07-07 561
由于压缩列表需要进行空间扩展操作，这就需要重新分配内存，因此连锁更新一旦发生，会导致压缩列表占用的内存空间多次重新分配，直接影响到压缩列表的访问性能。因此，虽然压缩列表紧凑型的内存布局能节省内存开销，但是如果保存的元素数量增加，或元素变大，会导致内存重新分配，最糟糕的是会引发「连锁更新」的问题。因此，虽然压缩列表紧凑型的内存布局能节省内存开销，但是如果保存的元素数量增加，或元素变大，会导致内存重新分配，最糟糕的是会引发「连锁更新」的问题。而当新插入的元素较大时，可能会导致后续元素的。
Redis基础教程（七）：redis列表(List)
菜鸟小码的博客
07-02 936
Redis 列表（List）是一种灵活的数据结构，可以用于存储一系列有序的元素。每个列表都是一个双向链表，这使得在列表两端添加或删除元素的复杂度为 O(1)，即操作时间不会随列表长度的增长而增长。本文将详细介绍 Redis 列表的特性和常用命令，通过实战案例展示列表在消息队列、任务调度、历史记录追踪等场景中的应用。
Redis 线程模型
Yes_water的博客
07-07 327
Redis 线程模型
Redis基础教程（八）：redis集合(Set)
菜鸟小码的博客
07-02 904
Redis 集合（Set）是一种无序且不重复的字符串集合，可以用于存储一系列唯一的元素。集合的这种特性使其在很多场景下非常有用，例如用户兴趣标签管理、黑名单存储、好友关系列表等。本文将详细介绍 Redis 集合的基本概念、常用命令，并通过实战案例展示集合在实际项目中的应用。
【Redis7】零基础篇
为技术发烧而生
07-02 947
a）性能极高-Redis能读的速度是110000次/秒，写的速度是81000次/秒b）Redis数据类型丰富，不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储c）Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用d）Redis支持数据的备份，即master-slave模式的数据备份英文：https://redis.io/中文：https://www.redis.cn/5.0版本是直接升级到。
redis 持久化 面试问题
06-09
以下是一些关于 Redis 持久化的可能面试问题： 1. Redis 的持久化有哪些方式？ Redis 的持久化有两种方式，一种是 RDB 持久化，一种是 AOF 持久化。 2. RDB 持久化和 AOF 持久化有什么区别？ RDB 持久化是将 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值