[Redis] 主从复制

为了避免单点Redis服务器故障，准备多台服务器，互相联通。将数据复制多个副本保存在不同的服务器，连接在一起，并保证数据是同步的。即使有其中一台服务器宕机，其他服务器依然可以继续提供服务，实现Redis的高可用，同时实现数据冗余备份。

• 多台服务器连接方案
  

  • 提供数据方：master（主服务器，主节点，主库，主客户端）
  • 接收数据方：slave（从服务器，从节点，从库，从客户端）
  • 需要解决的问题：数据同步
  • 核心工作：master的数据复制到slave中

• 主从复制概念

  • 主从复制就是将master中的数据即时、有效的复制到slave中
  • 特征：一个master可以拥有多个slave，一个slave只对应一个master
  • master：写数据、执行写操作时，将出现变化的数据自动同步到slave、读数据（可忽略）
  • slave：读数据（禁止写数据）

• 主从复制的作用

  • 读写分离：master写，slave读，提高服务器的读写负载能力
  • 负载均衡：基于主从结构，配合读写分离，由slave分担master负载，并根据需求的变化，改变slave的数量，通过多个节点分担数据读取负载，大大提高Redis服务器并发量与数据吞吐量
  • 故障恢复：当master出现问题时，有slave提供服务，实现快速的故障恢复
  • 数据冗余：实现数据热备份，是持久化之外的一种数据冗余方式
  • 高可用基石：基于主从复制，构建哨兵模式与集群，实现Redis的高可用方案

• 主从复制工作流程

  • 主从复制过程大体分为3个阶段：
    • 建立连接阶段
    • 数据同步阶段
    • 命令传播阶段
      

• 阶段一：建立连接

  • 步骤1：设置master的地址和端口，保存master信息
  • 步骤2：建立socket连接
  • 步骤3：发送ping命令（定时器任务）
  • 步骤4：身份验证
  • 步骤5：发送slave端口信息
  • 最终状态：slave保存master的地址与端口，master保存slave的端口，master和slave之间创建了连接的socket
  • 主从连接（slave连接master）
    • 方式一：客户端发送命令 slaveof <masterip> <masterport>
    • 方式二：启动服务器参数 redis-server --slaveof <masterip> <masterport>
    • 方式三：服务器配置 slaveof <masterip> <masterport>
  • 授权访问
    • master配置文件设置密码：requirepass <password>
    • master客户端发送命令设置密码：config set requirepass <password>，config get requirepass
    • slave客户端发送命令设置密码：auth <password>
    • slave配置文件设置密码：masterauth <password>
    • 启动客户端设置密码：redis-cli -a <password>

• 阶段二：数据同步

  • 步骤1：请求同步数据
  • 步骤2：创建RDB同步数据
  • 步骤3：恢复RDB同步数据
  • 步骤4：请求部分同步数据
  • 步骤5：恢复部分同步数据
    
  • 状态：slave具有master端的全部数据，包含RDB过程接收的数据；master保存slave当前数据同步的位置
  • 总体：slave和master之间完成了数据克隆

• 阶段三：命令传播

  部分复制有三个核心：服务器运行ID、复制缓冲区和偏移量

  • 服务器运行id（runid）

    • 概念：服务器运行id是每一台服务器每次运行的身份识别码，一台服务器多次运行可以生成多个运行id
    • 组成：运行id由40位字符组成，是一个随机的十六进制字符
    • 作用：运行id被用于在服务器间进行传输，识别身份。如果想两次操作均对同一台服务器进行，必须每次操作携带对应的运行id，用于对方识别
    • 实现方式：运行id在每台服务器启动时自动生成，master在首次连接slave时，会将自己的运行id发送给slave，slave保存此id，通过info Server命令，可以查看节点的runid

  • 复制缓冲区

    • 概念：又名复制积压缓冲区，是一个先进先出的队列，用于储存服务器执行过的命令，每次传播命令，master都会将传播的命令记录下来，并存储在复制缓冲区（当入队元素的数量大于队列长度，最先入队的元素会被弹出，而新的元素会被放入队列）
    • 由来：每台服务器启动时，如果开启有AOF或被连接成master节点，就会创建复制缓冲区
    • 作用：用于保存master收到的所有指令（仅影响数据变更的指令，例如set、select）
    • 数据来源：当master接收到主客户端的指令时，除了将指令执行，会将该指令存储到缓冲区中

  • 主从服务器复制偏移量（offset）

    • 概念：一个数字，描述复制缓冲区中指令字节位置
    • 分类：master复制偏移量（记录发送给所有slave的指令字节对应的位置，多个）、slave复制偏移量（记录slave接收master发送过来的指令字节对应的位置，一个）
    • 数据来源：master端是发送一次记录一次，slave端是接收一次记录一次
    • 作用：同步信息，比对master与slave的差异，当slave断线后，恢复数据使用

  

  • 心跳机制
    • 进入命令传播阶段时，master与slave间需要进行信息交换，使用心跳机制进行维护，实现双方连接保持在线
    • master心跳：
      • 指令：PING
      • 周期：由repl-ping-slave-period决定，默认10秒
      • 作用：判断slave是否在线
      • 查询：INFO replication    获取slave最后一次连接时间间隔，lag项维持在0或者1为正常
    • slave心跳：
      • 指令：REPLCONF ACK{offset}
      • 周期：1秒
      • 作用：汇报slave自己复制偏移量、获取最新的数据并更指令，判断master是否在线

主从复制完整流程图：