redis主从复制、哨兵机制和集群

最新推荐文章于 2024-07-10 18:24:00 发布
最新推荐文章于 2024-07-10 18:24:00 发布
阅读量1.3k 收藏 5
点赞数 1
分类专栏： redis 文章标签： redis 主从复制 哨兵机制 redis集群搭建 redis教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangxm_qz/article/details/87857465
版权

1、复制（master-slave）在这里插入图片描述
配置过程 修改 slave机器的 redis.conf 增加如下配置
slaveof
我这里两台slave 都配置
slaveof 192.168.159.10 6379
重启三台reidis 服务后 启动
执行 ./redis-cli 链接 本机redis 服务 然后执行info replication 可以看到主从状态信息如下
master：

[root@192 bin]# ./redis-cli 
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.159.12,port=6379,state=online,offset=99,lag=1
slave1:ip=192.168.159.11,port=6379,state=online,offset=99,lag=1
master_repl_offset:99
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2
repl_backlog_histlen:98

slave ：

[root@192 bin]# ./redis-cli 
127.0.0.1:6379> info replication
# Replication
role:slave
master_host:192.168.159.10
master_port:6379
master_link_status:up
master_last_io_seconds_ago:10
master_sync_in_progress:0
slave_repl_offset:99
slave_priority:100
slave_read_only:1
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

然后在主节点自行 set name zhang 从节点执行 get name 也是zhang
并且从节点默认不能进行写操作。执行 set name zhang 报错如下(redis.conf 中有默认配置 slave-read-only yes)：

127.0.0.1:6379> set name zhang
(error) READONLY You can't write against a read only slave.
127.0.0.1:6379> get name

实现原理 ：
1）slave第一次或重新连接到master 后 会向master发送一个sunc 命令
2）master收到sync 的时候做两件事
a）执行bgsave rdb快照保存数据到磁盘 并把文件传送给salve，slave收到文件会把文件中的数据加载到内存
b）把新收到的修改命令保存到缓冲区，并将命令发送给slave 实现同步
验证同步操作。
在slave几点执行sync 可以看到 命令同步过程如下：
主几点执行 set name li 后 slave 收到了 set name li

127.0.0.1:6379> sync
Entering slave output mode...  (press Ctrl-C to quit)
SYNC with master, discarding 42 bytes of bulk transfer...
SYNC done. Logging commands from master.
"PING"
"PING"
"PING"
"PING"
"PING"
"SELECT","0"
"set","name","li"

主从数据不一致问题解决：
redis.conf 中 slave-serve-stale-data 选项可以配置，在从节点完成同步之前是否正常接收客户端请求 为yes 表示正常接收 no 如果没有同步完数据 有客户端请求时返回错误（具体参见redis.conf 中的说明）
复制方式：
基于rdb文件的复制
无硬盘复制
增量复制

2、哨兵机制 sentinel
哨兵可以检测master 和slave 的状态
当master挂掉以后选举出新的master （哨兵也可以做集群，增加可用性）
哨兵监控redis状态的同时也会监控其他哨兵的状态。

在这里插入图片描述
配置哨兵：
1）复制sentinel.conf 配置文件到bin目录
2）修改配置
sentinel monitor mymaster 192.168.159.10 6379 2 配置要监控的master节点 ip 端口 第三个参数2 表示有几个哨兵投票才起作用 我们三个哨兵配置为2
sentinel down-after-milliseconds mymaster 10000 配置在多少毫秒之内 主节点没有响应就判断为离线
然后开始从 slave中选举出新的master
3)启动哨兵
运行 ./redis-sentinel ./sentinel.conf

[root@192 bin]# ./redis-sentinel ./sentinel.conf
8577:X 05 Feb 22:56:04.349 * Increased maximum number of open files to 10032 (it was originally set to 1024).
                _._                                                  
           _.-``__ ''-._                                             
      _.-``    `.  `_.  ''-._           Redis 3.0.7 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._                                   
 (    '      ,       .-`  | `,    )     Running in sentinel mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 26379
 |    `-._   `._    /     _.-'    |     PID: 8577
  `-._    `-._  `-./  _.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |           http://redis.io        
  `-._    `-._`-.__.-'_.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |                                  
  `-._    `-._`-.__.-'_.-'    _.-'                                   
      `-._    `-.__.-'    _.-'                                       
          `-._        _.-'                                           
              `-.__.-'                                               

8577:X 05 Feb 22:56:04.351 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
8577:X 05 Feb 22:56:04.351 # Sentinel runid is e01630b36aa383688bf8609a9622045d2620d017
8577:X 05 Feb 22:56:04.351 # +monitor master mymaster 192.168.159.10 6379 quorum 2
8577:X 05 Feb 22:56:04.404 * +slave slave 192.168.159.12:6379 192.168.159.12 6379 @ mymaster 192.168.159.10 6379
8577:X 05 Feb 22:56:04.461 * +slave slave 192.168.159.11:6379 192.168.159.11 6379 @ mymaster 192.168.159.10 6379

4)哨兵集群
直接在多台服务器启动哨兵即可 这里 三台服务器都按照上述步骤修改配置并启动哨兵。
多台哨兵启动时可以看到哨兵同事监控了哨兵的状态 如下：

[root@192 bin]# ./redis-sentinel ./sentinel.conf
7971:X 05 Feb 23:02:31.869 * Increased maximum number of open files to 10032 (it was originally set to 1024).
                _._                                                  
           _.-``__ ''-._                                             
      _.-``    `.  `_.  ''-._           Redis 3.0.7 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._                                   
 (    '      ,       .-`  | `,    )     Running in sentinel mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 26379
 |    `-._   `._    /     _.-'    |     PID: 7971
  `-._    `-._  `-./  _.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |           http://redis.io        
  `-._    `-._`-.__.-'_.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |                                  
  `-._    `-._`-.__.-'_.-'    _.-'                                   
      `-._    `-.__.-'    _.-'                                       
          `-._        _.-'                                           
              `-.__.-'                                               

7971:X 05 Feb 23:02:31.872 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
7971:X 05 Feb 23:02:31.873 # Sentinel runid is e83812b0bad75bb5e50886b76363668a4fc0d1b7
7971:X 05 Feb 23:02:31.873 # +monitor master mymaster 192.168.159.10 6379 quorum 2
7971:X 05 Feb 23:02:33.608 * +sentinel sentinel 192.168.159.11:26379 192.168.159.11 26379 @ mymaster 192.168.159.10 6379
7971:X 05 Feb 23:02:33.811 * +sentinel sentinel 192.168.159.12:26379 192.168.159.12 26379 @ mymaster 192.168.159.10 6379

哨兵选举演示。
通过客户端关闭master redis 可以看到哨兵重新选举了新的 master 节点 为 192.168.159.12 如下：

8507:X 05 Feb 23:09:39.961 # +sdown master mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:40.028 # +odown master mymaster 192.168.159.10 6379 #quorum 2/2
8507:X 05 Feb 23:09:40.028 # +new-epoch 1
8507:X 05 Feb 23:09:40.028 # +try-failover master mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:40.098 # +vote-for-leader 0ffa476301677a36b9e83e4a3305df9837cb06ee 1
8507:X 05 Feb 23:09:40.109 # 192.168.159.10:26379 voted for e83812b0bad75bb5e50886b76363668a4fc0d1b7 1
8507:X 05 Feb 23:09:40.124 # 192.168.159.11:26379 voted for 0ffa476301677a36b9e83e4a3305df9837cb06ee 1
8507:X 05 Feb 23:09:40.165 # +elected-leader master mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:40.165 # +failover-state-select-slave master mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:40.272 # +selected-slave slave 192.168.159.12:6379 192.168.159.12 6379 @ mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:40.273 * +failover-state-send-slaveof-noone slave 192.168.159.12:6379 192.168.159.12 6379 @ mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:40.361 * +failover-state-wait-promotion slave 192.168.159.12:6379 192.168.159.12 6379 @ mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:41.121 # +promoted-slave slave 192.168.159.12:6379 192.168.159.12 6379 @ mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:41.121 # +failover-state-reconf-slaves master mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:41.201 * +slave-reconf-sent slave 192.168.159.11:6379 192.168.159.11 6379 @ mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:42.157 * +slave-reconf-inprog slave 192.168.159.11:6379 192.168.159.11 6379 @ mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:42.343 # -odown master mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:43.205 * +slave-reconf-done slave 192.168.159.11:6379 192.168.159.11 6379 @ mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:43.310 # +failover-end master mymaster 192.168.159.10 6379
8507:X 05 Feb 23:09:43.310 # +switch-master mymaster 192.168.159.10 6379 192.168.159.12 6379
8507:X 05 Feb 23:09:43.316 * +slave slave 192.168.159.11:6379 192.168.159.11 6379 @ mymaster 192.168.159.12 6379
8507:X 05 Feb 23:09:43.317 * +slave slave 192.168.159.10:6379 192.168.159.10 6379 @ mymaster 192.168.159.12 6379
8507:X 05 Feb 23:09:53.336 # +sdown slave 192.168.159.10:6379 192.168.159.10 6379 @ mymaster 192.168.159.12 6379

在 192.168.159.12 redis中 执行命令 set name zhang 其他节点 执行 get name 可以获取到 zhang 如下：

127.0.0.1:6379> get name
"zhang"
127.0.0.1:6379>

再次启动 192.168.159.10（原来的master节点）发现节点状态变为了 slave 如下

8507:X 05 Feb 23:18:11.923 # -sdown slave 192.168.159.10:6379 192.168.159.10 6379 @ mymaster 192.168.159.12 6379

[root@192 bin]# ./redis-cli
127.0.0.1:6379> info replication
# Replication
role:slave
master_host:192.168.159.12
master_port:6379
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:136084
slave_priority:100
slave_read_only:1
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
127.0.0.1:6379>

哨兵+复制 才能组成redis 高可用

3、集群（3.0以后的功能）

之前redis 中所有的数据都保存在一个节点中，数据量大时会有性能问题。redis集群会把数据分片保存到多个节点，多个master共同保存一份数据，每个master又都有自己的slave 和哨兵，如下图
在这里插入图片描述

3.0之前实现方式：客户端 根据key 的hash值对服务节点数量取模,进行数据分片
3.0之后 redis提供了分片的机制 客户端不用做处理
slot(槽) 的概念 在redis集群中一共会有16384个槽
根据key 的 crc16算法 ，得到的结果再对16384进行取模。假如有有三个节点 16384/3=5460
node 1 保存槽位 0-5460
node2 保存槽位5461-10922
node3 保存槽位10923-15383
如果增加了节点 就会出现数据迁移 1-3个节点上都有一部分数据要迁移到新节点中。
需要人工迁移， 有一个脚本 redis-trib.rb
目前使用这种方案的比较少，因为3.0刚提供，3.0之前市面上提供了集群方案如下。
1）redis shardding jedis客户端支持shardding操作。 根据一致性hash取模 实现
2）codis （豌豆荚提供的分片策略 目前 应用比较广泛）基于redis2.8代码分支开发了一个codis-server。集成了分片操作。
3）twemproxy

不管用哪种方案，增删节点时都会涉及到 数据的迁移。目前应用广泛的解决方式就是 pre-shardding （预分片）
假如我只需要三台redis服务，那么我部署9台。每台服务器上部署三台（共九个redis节点），这样不用增加硬件，前期redis数据量不大时还可以提高cpu利用率。日后如果数据量变大，只需要将每台机器上的三台redis服务迁移到新的服务器上就可以了。不用进行任何数据分片处理

catch that elf
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Redis主从复制哨兵和集群
勤能补拙，知行合一
02-27 435
文章目录Redis主从复制主从复制的作用：主从复制流程：搭建Redis主从复制Redis哨兵模式搭建Redis哨兵模式 Redis主从复制：主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制。 Redis哨兵:在主从复制的基础上，哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制;哨兵无法对从节点进行自动故障转移
Redis集群-Redis安装、Redis主从复制、哨兵、Redis集群
12-25
Redis集群是Redis的一种高可用性解决方案，通过主从复制、哨兵和集群三大技术模块来实现高可用性和可扩展性。本文将对Redis集群进行详细的介绍，包括Redis安装、主从复制、哨兵和集群的配置和实现。 一、Redis安装 ...
Redis主从复制、哨兵模式和集群
qq_64612585的博客
04-03 1263
主从复制是高可用 Redis 的基础，将一台 Redis 服务器的数据复制到其它的 Redis 服务器。前者 为主 master，后者为 slave，单向从主到从；主可以有多个从，从只能有一个主。主从切换需要人工干预，为了解决主从复制的缺点，在主从复制的基础上，哨兵引入了主节点的自动故障转移。
Redis 主从复制，哨兵与集群
最新发布
weixin_56770318的博客
07-10 1127
虽然Redis可以实现单机的数据持久化，但无论是RDB也好或者AOF也好，都解决不了单点宕机问题，即一旦单台 redis服务器本身出现系统故障、硬件故障等问题后，就会直接造成数据的丢失此外,单机的性能也是有极限的,因此需要使用另外的技术来解决单点故障和性能扩展的问题。
Redis主从、哨兵、集群讲解
wangwcy的博客
05-23 1271
哨兵模式，就是由一个或多个哨兵实例组成的哨兵系统，它可以监视所有的Redis主节点和从节点，并在被监视的主节点进入下线状态时，自动将下线主服务器属下的某个从节点升级为新的主节点。假如节点A标记节点B为主观下线，一段时间后，节点A通过消息把节点B的状态发到其它节点，当节点C接受到消息并解析出消息体时，如果发现节点B的pfail状态时，会触发客观下线流程；Gossip是一种谣言传播协议，每个节点周期性地从节点列表中选择 k 个节点，将本节点存储的信息传播出去，直到所有节点信息一致，即算法收敛了。
Redis 主从复制、哨兵和集群区别
孔子说
10-17 7479
转自：http://www.kongzid.com/archives/redis1 Redis Cluster是Redis的分布式集群解决方案，在 3.0 版本正式推出。在3.0之前的集群方案主要是主从复制和哨兵机制，3种方案各有优缺点。 主从复制(Replication)主要是备份数据、读写分离、负载均衡，一个Master可以有多个Slaves服务器作为备份。
Redis主从复制、哨兵机制、集群分片
qq_62767608的博客
08-02 1765
主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave)。复制是单向的从节点也可以拥有从节点主节点可写可读，主要负责写操作，从节点只能进行读操作。
Redis 主从复制、哨兵和集群三者区别
zlpzlpzyd的专栏
03-17 282
单机模式、主从模式、sentinel 模式依次递进，单机模式无法解决机器故障导致的无法提供服务的问题，主从模式无法解决主节点停止后选举master的问题，sentinel模式解决了主从的问题。sentinel着眼于高可用。Redis 的哨兵模式基本已经可以实现高可用，读写分离 ，但是在这种模式下每台 Redis 服务器都存储相同的数据，浪费内存且有木桶效应，所以在redis3.0上加入了 Cluster 集群模式，实现了 Redis 的分布式存储，也就是说每台 Redis 节点上存储不同的内容。
Redis主从复制、哨兵、集群
y1035793317的博客
11-15 1283
一、redis概念 1、redis集群模式 主从复制 主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份， 以及对于读操作的负载均衡和简单的故障恢复。 缺陷:故障恢复无法自动化:写操作无法负载均衡:存储能力受到单机的限制。 哨兵 在主从复制的基础上，哨兵实现了自动化的故障恢复。 缺陷:写操作无法负载均衡:存储能力受到单机的限制。 集群Cluster 通过集群，Redis解决了写操作无法负载均衡，以及存储能力受到单机限制的问题，实现了较
Redis主从复制、哨兵和集群部署
zcien的博客
04-04 730
Redis主从复制、哨兵和集群部署
Redis主从/哨兵机制原理介绍
热门推荐
qq_25409421的博客
06-30 3万+
Redis 主从集群机制和Redis Sentinel 机制的基本使用和底层知识原理介绍，同时在使用哨兵机制过程中对于可能出现的数据丢失进行相关避坑方案讲解..............
Redis主从复制，哨兵机制及集群搭建
weixin_52134189的博客
03-23 1228
Redis主从复制，哨兵机制，redis集群，以及如何使用java连接redis集群
Docker搭建redis主从+哨兵模式集群.docx
07-27
本文档主要介绍了使用Docker搭建Redis主从复制和哨兵模式集群的步骤。下面是详细的知识点总结： 一、Docker安装 * 下载Docker二进制文件（离线安装包），使用wget命令下载 * 上传到服务器，使用MobaXterm等工具 * ...
windows redis 主从集群实例加哨兵集群
08-24
以上就是在Windows环境下搭建Redis主从集群和哨兵集群的基本步骤和关键知识点。通过这种方式，我们可以构建一个高可用、高可靠的Redis服务，满足大规模应用的需求。参考提供的博客文章...
docker-compose redis主从哨兵 redis多节点高可用 redis集群高可用
04-12
这里我们将详细探讨如何利用Docker Compose部署Redis的主从哨兵配置和集群高可用性解决方案。 首先，Docker Compose是一个强大的工具，可以让我们通过YAML文件定义和运行多容器的Docker应用。在这个场景下，我们...
03_redis 主从复制 Redis集群和哨兵模式.docx
07-04
### Redis 主从复制、集群与哨兵模式详解 #### 一、Redis 主从复制 **主从复制**是Redis中最基础也是最常用的架构之一。它主要用于实现数据的冗余备份和读写分离。 ##### 1.1 主从模式概述 - **数据库分类**：在...
lua入门
zhangxm_qz的博客
02-04 1万+
redis2.6以后可以在redis 中使用lua语言。 1、用lua的好处： 1）一个脚本包含多个操作，减少访问次数从而减少网络开销 2）原子操作 redis 对lua脚本是原子化执行方案 3）复用性 复用 lua脚本的逻辑 2、lua脚本安装： 1）下载安装包 并解压 tar-zvxf lua-5.3.5.tar.gz 2）执行 make linux 编译 编译过程报错 lua.c:8...
redis安装运行
zhangxm_qz的博客
02-02 568
1.下载压缩包并解压 tar -zvxf redis-3.0.7.tar.gz 2.执行make命令编译 [root@192 redis]# cd redis-3.0.7 [root@192 redis-3.0.7]# make 执行过程中如果有依赖未安装 直接运行 yum install 进行安装 比如：yum install gcc 安装完成后 重新解压缩文件，并执行 make 命令 即可完成...
Redis主从复制机制详解与积压空间原理
"深入剖析Redis主从复制.pdf讨论了Redis的主从复制机制，包括全同步和部分同步的过程，以及如何处理数据的一致性。Redis的主从模式允许数据复制，使得从机可以提供读服务，主机负责读写。文章详细解析了replication....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

catch that elf

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值