Redis主从复制

目录

一、单机Redis的风险与问题

二、主从复制介绍

 2.1、主从复制含义：

2.2、主从复制特征：

2.3、主从复制中的角色职责：

2.4、主从复制的作用：

三、主从复制的工作流程(三个阶段)

3.1、建立连接阶段(准备阶段)

3.1.1、主从连接的三种方式(slave连接master)

3.1.2、从机和主机建立连接后，查看信息

3.1.3、授权访问设置

3.2、数据同步阶段

3.2.1、数据同步阶段主机(master)说明

3.2.2、数据同步阶段从机(slave)说明

3.3、命令传播阶段

3.3.1、命令传播阶段的部分复制

---

一、单机Redis的风险与问题

1、机器故障：硬盘故障、系统奔溃等导致Redis无法正常工作，从而进一步导致Redis数据丢失，很有可能对业务系统造成灾难性的打击；

2、容量瓶颈：当数据量增加至一定量时，Redis所在服务器内存不足，无法支撑Redis高性能运行。

总结：为了避免单点Redis服务故障，准备多台服务器，互相连通。将数据复制多个副本保存在不同的服务器上，连接在一起，并保证数据是同步的。即使有其中一台服务器宕机，其他服务器依然可以继续提供服务，实现Redis的高可用，同时实现数据冗余备份。

二、主从复制介绍

    2.1、主从复制含义：

    主从复制即将主机(master)中的数据即时、有效的复制到其所有从机(slave)中。

    2.2、主从复制特征：

    一个主机(master)可以拥有多个从机(slave)，但是一个从机(slave)只能对应一个主机(master)。

    2.3、主从复制中的角色职责：

    主机(master)：负责写入数据；执行写操作时，将出现变化的数据自动同步到其所有从机。

    从机(slave)：负责读取数据，禁止写入数据。

    2.4、主从复制的作用：

    1、读写分离：主机(master)写数据，从机(slave)读数据，提高服务器的读写负载能力；

    2、负载均衡：基于主从结构，配合读写分离，由从机(slave)分担主机(master)负载，并根据需求的变化，改变从机(slave)的数量，通过多个从机(salve)分担数据读取负载，大大提高Redis服务器并发量与数据吞吐量；

    3、故障恢复：当主机(master)出现问题时，转由从机(slave)提供服务，实现快速的故障恢复；

    4、数据备份：实现数据热备份，是持久化之外的一种数据冗余备份的方式；

    5、高可用基石：基于主从复制，构建哨兵模式与集群，实现Redis的高可用方案。

三、主从复制的工作流程(三个阶段)

    3.1、建立连接阶段(准备阶段)

    建立从机(salve)到主机(master)的连接，使主机(master)能够识别从机(slave)，并保存从机(slave)端口号。

        3.1.1、主从连接的三种方式(slave连接master)

        主机配置文件(redis-6379.conf)：

daemonize no
# logfile "6379.log"
dir /usr/local/redis/replication
dbfilename dump-6379.rdb
rdbcompression yes
rdbchecksum yes
save 10 2
appendonly yes
appendfsync always
appendfilename appendonly-6379.aof
bind 127.0.0.1
databases 16

        从机配置文件(redis-6380.conf):

port 6380
daemonize no
# logfile "6380.log"
dir /usr/local/redis/replication

        方式一：客户端发送命令

slaveof <masterip> <masterport>

        方式二：启动服务器参数

redis-server -slaveof <masterip> <masterport>

        方式三：服务器配置

slaveof <masterip> <masterport>

            从机配置文件(redis-6380.conf):

port 6380
daemonize no
# logfile "6380.log"
dir /usr/local/redis/replication
slaveof 127.0.0.1 6379 

        主机和从机连接后，各自日志输出：

        3.1.2、从机和主机建立连接后，查看信息

info Replication

        主机客户端查看主从信息： 

        从机客户端查看主从信息： 

        3.1.3、授权访问设置

        1、主机设置密码的两种方式

            a、在主机配置文件中设置

requirepass <password>

             b、在主机客服端发送命令设置

config set requirepass <password>
config get requirepass

         2、从机获取授权访问的三种方式

             a、在从机客户端发送命令

auth <password>

             b、在从机配置文件中设置

masterauth <password>

              c、在客户端连接从机时设置

redis-cli -a <password>

    3.2、数据同步阶段

    · 在从机(slave)初次连接主机(master)之后，复制主机(master)中的所有数据到从机(slave)；

    · 将从机(slave)的数据库状态更新成主机(master)当前的数据库状态。

    3.2.1、数据同步阶段主机(master)说明

        1、如果主机(master)数据量巨大，数据同步阶段应避开流量高峰期，避免造成主机阻塞，影响业务正常执行；

        2、复制缓冲区大小设置不合理，会导致数据溢出。如进行全量复制周期太长，进行部分复制时发现数据已经丢失的情况，必须进行第二次全量复制，致使从机(slave)陷入死循环状态；

# 在主机配置文件中设置缓冲区大小(默认1Mb)
repl-backlog-size 1mb

        3、主机(master)单机内存占用服务器内存的比例不应过大，建议使用50%-70%的内存，留下30%-50%的内存用于执行bgsave命令和创建复制缓冲区。

    3.2.2、数据同步阶段从机(slave)说明

        1、为避免从机(slave)进行全量复制、部分复制时服务器响应阻塞或数据不同步，建议关闭此期间的对外服务；

slave-serve-stale-data yes/no

        2、数据同步阶段，主机(master)发送给从机(slave)信息可以理解为：主机(master)是从机的一个客户端，主动向从机发送命令；

        3、多个从机同时对主机请求数据同步时，主机发送的RBD文件增多，会对带宽造成巨大冲击，如果主机带宽不足，因此数据同步需要根据业务需求，适量错峰；

        4、从机过多时，建议调整拓扑结构，由一主多从结构变为树状结构，中间的节点既是主机，也是从机。注意使用树状结构时，由于层次深度，导致深度越高的从机与最顶层的主机间数据同步延迟较大，数据一致性变差，应谨慎选择。

    3.3、命令传播阶段

· 当主机数据库状态被改变后，导致主从服务器数据库状态不一致，此时需要让主从数据同步到一致的状态，同步的动作称为命令传播；

· 主机将接收到的数据变更命令发送给从机，从机接收命令后执行命令。

    3.3.1、命令传播阶段的部分复制

        1、命令传播阶段出现断网现象

              · 网络闪断闪连 ==>> 忽略

              · 短时间网络中断 ==>> 部分复制

              · 长时间网络中断 ==>> 全量复制

        2、部分复制的三个核心要素

              · 服务器的运行ID(run id)

              · 主服务器的复制积压缓冲区

              · 主从服务器的复制偏移量(offset)