Redis基础（八）——集群

最新推荐文章于 2024-10-11 22:37:27 发布
最新推荐文章于 2024-10-11 22:37:27 发布
阅读量107 收藏
点赞数
分类专栏： 数据库 文章标签： redis 集群 哨兵 主从复制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhq9695/article/details/115712668
版权

文章目录

集群

1 主从复制

为提高系统可用性，使用多台服务器提供服务

主从复制：将master中的数据即时、有效的复制到slave中

如果master宕机了，可以临时推选一个slave当选master

在这里插入图片描述

作用

  • 读写分离
  • 负载均衡
  • 故障恢复
  • 数据冗余，实现数据热备份
  • 高可用基石

工作流程

  1. 建立连接阶段
  2. 数据同步阶段
  3. 命令传播阶段

1.1 建立连接阶段

在这里插入图片描述

// 连接方式1：客户端发送命令
slaveof <masterip> <masterport>
// 连接方式2：启动时加服务器参数
redis-server --slaveof <masterip> <masterport>
// 连接方式3：配置文件增加服务器配置
slaveof <masterip> <masterport>

// 断开连接，客户端发送命令
slaveof no one

1.2 数据同步阶段

在这里插入图片描述

1.3 命令传播阶段

命令传播阶段出现了断网现象

  • 网络闪断闪联：忽略
  • 短时间网络中断：部分复制
  • 长时间网络中断：全量复制

部分复制的三个核心要素

  • 服务器的运行id：是每一台服务器每次运行的身份识别码，是随机的40位十六进制字符。用于slave识别身份，每次操作同一台服务器。id由服务器在启动时自动生成，首次连接slave时会发送给slave
  • 主服务器的复制积压缓冲区：FIFO队列，用于存储服务器执行过程中的命令，每次传播命令除了会发送给slave，还会存储在复制积压缓冲区
  • 主从服务器的复制偏移量：复制积压缓冲区由偏移量和字节值（存储指令）组成，offerset用于slave和master记录当前发送的命令到哪个位置

心跳机制，实现双方连接在线

  • master心跳：指令ping，用于判断slave是否在线
  • slave心跳：指令replconf ACK {offset}，用于判断master是否在线和汇报自己的复制偏移量，获取最新数据

在这里插入图片描述

在这里插入图片描述

2 哨兵

哨兵是一个分布式系统，用于对主从结构中的每台服务器进行监控，当出现故障时通过投票机制选择新的master并讲所有slave连接到新的master

哨兵也是redis服务器，通常配置为单数

作用

  • 监控：不断检查master和slave是否正常运行
  • 通知：当被监控的服务器出现问题时，向其他客户端发送通知
  • 自动故障转移：断开master与slave连接，选取一个新的slave作为master
// 启动哨兵
redis-sentinel sentinel.conf

// 哨兵配置文件
// 2个哨兵觉得主服务器挂了就是真的挂了
sentinel monitor mymaster 127.0.0.1 6379 2
// 主服务器30s没相应，认定为挂了
sentinel down-after-milliseconds mymaster 30000
// 新的主服务器上任后，最多1个同步
sentinel parallel-syncs mymaster 1
// 同步超过180s算作超时
sentinel failover-timeout mymaster 180000

2.1 监控阶段

  1. sentinel向master发送info指令寻求信息（包含master和slave的信息）
  2. sentinel与master建立cmd连接用于发送通信指令
  3. sentinel向slave发送info指令寻求信息
  4. 当新的sentinel进来之后，同样向master发送info指令寻求信息，并建立cmd连接
  5. 新的sentinel与原先的sentinel定时发送ping命令并建立连接
  6. 一般情况下，sentinel以每十秒一次的频率向被监视的主服务器和从服务器发送info指令。如果主服务器处于下线状态，或正在故障转移，则对从服务器发送info指令的频率改为每秒一次
  7. 多个sentinel之间以每两秒一次的频率向hello频道发送消息来向其他sentinel宣告自己的存在
  8. sentinel以每秒一次的频率向主服务器、从服务器、其他sentinel发送ping命令判断是否在线

在这里插入图片描述

2.2 通知阶段

在这里插入图片描述

2.3 故障转移阶段

  1. 当其中的一个sentinel发现master挂了的时候，master标记为主观下线s_down
  2. 其他sentinel会去确认master是否挂了，如果是则master标记为客观下线o_down
  3. sentinel内部进行投票，每个sentinel投给最先收到竞选消息的sentinel，选出一个谈判者
  4. sentinel挑选备选master，依次按照在线的、响应快的、与原master最近沟通的、优先级、offset、runid小的，从slave中选择一个新master
  5. 向新master发送slaveof no one指令，向其他slave发送slaveof和新master的ip端口

3 集群

集群通过分片的方式来保存数据库中的键值对：数据库被分为16384个槽（将key通过hash计算再取模上一个值，得出存储的槽），每个节点可以处理其中的一部分槽，强调分布式，每个服务器之间都知道key所对应的槽在哪个服务器

重新分片：将属于某个槽的所有键值对从一个节点转移至另一个节点

执行命令

  • 如果键所在的槽在当前节点，那么直接执行命令，否则返回一个MOVED错误，指引客户端重定向至正确的节点，并再次发送命令
  • 当客户端向源节点发送命令，但是当前槽正好被迁移至别的数据库时，返回一个ASK错误，指引客户端转向正在导入槽的目标节点，并再次发送命令

MOVEN错误和ASK错误的区别

  • MOVED错误代表槽的负责权已经从一个节点转向另一个节点：在客户端收到MOVED错误之后，以后每次收到这个槽的命令，都可以直接将命令发送至正确的服务器上
  • ASK错误只是在两个节点正在迁移槽的过程中使用的临时措施：在客户端收到ASK错误之后，只会在接下来一次命令中将请求转向正确的服务器，不会对以后的命令产生影响
// 与ip和port所指定的节点握手，连接到对应的集群中
cluster meet <ip> <port>
// 将某个槽指派给当前节点
cluster addslots <slot> [slot ...]
// 查看一个键属于哪个槽
cluster keyslot <key>

// cluster配置

// 是否开启集群模式
cluster-enabled yes|no
// cluster配置文件名，该文件自动生成
cluster-config-file <filename>
// 节点服务器响应超时时间
cluster-node-timeout <milliseconds>
// master连接的slave最小数量
cluster-migration-barrier <count>

消息

  • MEET消息：当发送者接收到客户端的CLUSTER MEET命令后，发送者会发送MEET消息，请求接收者加入发送者当前集群
  • PING消息：集群里每隔节点每隔一段时间会发送PING消息检测别的节点是否在线
  • PONG消息：接收者收到MEET消息或者PING消息时，会回复一条PONG消息
  • FAIL消息：当一个主节点旁段另一个主节点进入FAIL状态时，会广播一条关于另一个节点FAIL的消息，其他节点会标记它下线
  • PUBLISH消息：当一个节点收到PUBLISH命令时，会向集群广播一条PUBLISH命令，所有接收到这条命令的节点都会执行相同的PUBLISH命令
I can丶
关注
专栏目录
Redis分布式集群几点说道
清兮灌缨的博客
12-18 5506
Redis分布式集群几点说道 麦穗技术 2016-09-26 11:34 Redis分布式集群几点说道 Redis数据量日益增大，使用的公司越来越多，不仅用于做缓存，同时趋向于存储这一块，这样必促使集群的发展，各个公司也在收集适合自己的集群方案，目前行业用的比较多的是下面几种集群架构，大部分都是采用分片技术，保证单实例内存增大带来的一系列问题，下面所列出的codis方案目
利用Redis发布订阅完成tomcat集群下的消息通知
weixin_34226182的博客
01-25 214
以下为个人想法，如果有说的不对的地方请各位大佬见谅！ 　　 　　这是博主的第一篇博客，可能排版以及一些描述有不合理的地方还请勿喷，希望大家尽可能的多给我这样的新人一些鼓励让我能在写博客的道路上走下去。 进入正题，首先开发背景 　　　 　　近期公司的一些项目上出现了内存溢出的问题，究其原因是缓存的数据量太大导致jvm内存溢出，产品的架构上比较老所以针对缓...
解决Redis集群条件下键空间通知服务器接收不到消息的问题
weixin_33845477的博客
04-28 920
解决Redis集群条件下键空间通知服务器接收不到消息的问题 键空间通知介绍 键空间通知使得客户端可以通过订阅频道或模式， 来接收那些以某种方式改动了 Redis 数据集的事件。 可以通过对redis的redis.conf文件中配置notify-keyspace-events参数可以指定服务器发送哪种类型的通知。下面对于一些参数的描述。默认情况下此功能是关闭的。 字符 通知 K 键...
Redis高可用——集群模式
weixin_67300995的博客
07-03 684
Redis集群引入了哈希槽的概念，Redis集群有16384个哈希槽（编号0-16383），集群的每组节点负责一部分哈希槽，每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作。为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成，在节点B失败后，集群选举B1位为的主节点继续服务。集群中的节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护；
Redis集群系列八 —— 集群间数据同步原理
旷野历程
01-01 2296
Redis 集群间怎么实现数据同步
Redis高可用——集群
沸羊羊_
08-24 1631
前言 Redis集群是Redis提供的分布式数据方案，集群通过分片（sharding）来进行数据共享，并提供复制和故障转移功能。 本文将对节点、槽指派、命令执行、重新分片、转向、故障转移、消息等各个方面进行介绍。 概念 节点 一个Redis集群通常由多个节点(node)组成，在刚开始的时候，每个节点都是相互独立的，它们都处于一个只包含自己的集群当中，要组建一个真正可工作的集群，我们必须将各个独立的节点连接起来，构成一个包含多个节点的集群。 连接各个节点的工作可以使用CLUSTER MEET命令来完成，该命令
Redis——集群搭建
weixin_54406708的博客
07-18 2386
简称：replid，数据集的标记，每一个master都有一个唯一的replid（并且slave本质上也是一个master，也会有自己的replid），当slave连接上后，master会发现slave的replid与其不相同，所以就判断为是第一次同步，就会做全量同步。但是我们回想一个点，假设单节点的sentinel挂掉之后，对一个的sentinel对微服务的保护机制就没有了。首先我们在虚拟机上三个redis的开启。我们可以清晰的了解到，redis集群默认是主节点读写都可以的操作，从节点只做读的操作。
Redis5.0+——集群搭建，水平扩容
G_change_的博客
12-26 882
Redis5.0+——集群搭建，水平扩容
redis架构系列——Cluster集群模式详解
吴代庄的博客
01-30 1970
redis cluster模式集群介绍
面试八股之Redis篇3.6——集群——redis的分片集群有什么作用？
做一个善良的人，做好自己的事，如果愿意，再发一份光。
05-31 963
🔥本篇概览：详细讲解了redis的分片集群有什么作用？
手把手教你搭Redis Cluster集群——Redis Cluster的搭建与原理解析
weixin_46120888的博客
03-28 2649
本文介绍了RedisCluster的原理，较为详细的介绍了搭建的完整过程，同时还演示了扩容和缩容操作
Redis——Redis Cluster集群原理
庄小焱
03-14 4644
摘要 我们平时习惯于使用 Rabbitmq 和 Kafka 作为消息队列中间件，来给应用程序之间增加异步消息传递功能。这两个中间件都是专业的消息队列中间件，特性之多超出了大多数人的理解能力。使用过 Rabbitmq 的同学知道它使用起来有多复杂，发消息之前要创建 Exchange，再创建 Queue，还要将 Queue 和 Exchange 通过某种规则绑定起来，发消息的时候要指定 routingkey，还要控制头部信息。消费者在消费消息之前也要进行上面一系列的繁琐过程。但是绝大多数情况下，虽然我们的消息
Redis学习笔记——集群（cluster）
qq_37863891的博客
04-08 465
文章目录简介Redis集群结构设计cluster集群结构搭建搭建方式Cluster配置使用redis-trib.rb将所有的节点连接创建集群设置与获取数据主从下线与主从切换 简介 集群就是使用网络将若干台计算机联通起来，并提供统一的管理方式，使其对外呈现单机的服务效果。 简单的来说，之前是单master多从，现在是多master多从，且master之间相互关联，分摊负载。 集群作用 分散单台服务...
深入解析Redis——集群
Inception查缺补漏
08-28 716
Redis的集群是Redis提供的分布式数据库方案，集群通过分片（sharding）来进行数据共享，并提供复制和故障转移功能。使用 Redis Cluster 集群，主要解决了大数据量存储导致的各种慢问题，同时也便于横向拓展。...
redis基础篇——数据一致性
石灰聪的博客
12-01 3272
数据一致性 缓存使用场景 针对读多写少的高并发场景，我们可以使用缓存来提升查询速度。 当我们使用Redis作为缓存的时候，一般流程是这样的： 如果数据在Redis存在，应用就可以直接从Redis拿到数据，不用访问数据库。 应用新增了数据，只保存在数据库中，这个时候Redis没有这条数据。 如果Redis里面没有，先到数据库查询，然后写入到Redis，再返回给应用。 一致性问题的定义 因为数据最终是以数据库为准的（这是我们的原则），如果Redis没有数据，就不存在这个问题。当Redi
redis与springBoot整合
最新发布
hang_sa_mu的博客
10-11 813
设置一个没有登录异常类即可​/*** --- 天道酬勤 ---* @desc 未登录异常*/​// 为了接收状态码​​​。
redis高级数据类型之HyperLogLog
qq_38917476的博客
10-11 780
HyperLogLog 是 Redis 2.8 版本中新增的数据类型，专门用于统计基数（cardinality）的数据集合。它是一种基于概率算法的数据结构，能够高效地估算集合中不重复元素的数量。HyperLogLog 作为一种高效的概率性数据结构，在处理大规模数据集时展现了其卓越的性能和低内存占用。它能够快速估算集合中的独特元素数量，适用于社交应用、网络监控、广告统计等多个场景。虽然其统计结果存在一定的误差，但在大多数情况下，这种误差是可以接受的，尤其是在需要高频次计数和实时反馈的应用中。
Redis-缓存一致性
qq_39007838的博客
10-08 1227
自己的理解，只要是写缓存的方式，都会存在线程写入先后导致的数据不一致监听 binlogHomecanal 选择版本 1.6.1mysql: 5.7 docker环境安装。
掌握Redis基础——初学者的入门指南
在头歌平台提供的“初识Redis答案”文档中，可能会详细介绍Redis的基础知识，包括安装配置、基本命令的使用、数据结构的特性与操作方法，以及如何将Redis应用到实际开发中。文档还可能包含一些实践案例分析，例如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值