非关系型数据库--------------------Redis 群集模式

已于 2024-04-15 21:25:13 修改
阅读量1k 收藏 29
点赞数 9
文章标签： redis 数据库 缓存
于 2024-04-05 23:48:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzzxxx520369/article/details/137405793
版权

目录

一、集群原理

二、集群的作用

（1）数据分区

（2）高可用

 Redis集群的作用和优势

三、Redis集群的数据分片

四、Redis集群的工作原理

五、搭建redis群集模式

5.1启用脚本配置集群

5.2修改集群配置

5.3启动redis节点

5.4启动集群

5.5测试群集

一、集群原理

集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。

集群由多个节点(Node)组成，Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点

只有主节点负责读写请求和集群信息的维护；从节点只进行主节点数据和状态信息的复制

Cluster模式是Redis的一种高级集群模式，它通过数据分片和分布式存储实现了负载均衡和高可用性。在Cluster模式下，Redis将所有的键值对数据分散在多个节点上。每个节点负责一部分数据，称为槽位。通过对数据的分片，Cluster模式可以突破单节点的内存限制，实现更大规模的数据存储。

二、集群的作用

（1）数据分区

数据分区(或称数据分片)是集群最核心的功能

集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；

另一方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。

Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；

例如，如果单机内存太大，bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出。

（2）高可用

集群支持主从复制和主节点的自动故障转移（与哨兵类似）；当任一节点发生故障时，集群仍然可以对外提供服务。

 Redis集群的作用和优势

  1. 高可用性：Redis集群可以在某个节点发生故障时，自动进行故障转移，保证服务的持续可用。
  2. 负载均衡：Redis集群可以将客户端请求分发到不同的节点上，有效地分摊节点的压力，提高系统的整体性能。
  3. 容灾恢复：通过主从复制或哨兵模式，Redis集群可以在主节点出现故障时，快速切换到从节点，实现业务的无缝切换。
  4. 数据分片：在Cluster模式下，Redis集群可以将数据分散在不同的节点上，从而突破单节点内存限制，实现更大规模的数据存储。
  5. 易于扩展：Redis集群可以根据业务需求和系统负载，动态地添加或移除节点，实现水平扩展

三、Redis集群的数据分片

  • Redis集群引入了哈希槽的概念
  • Redis集群有16384个哈希槽（编号0-16383）
  • 集群的每个节点负责一部分哈希槽

每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作

以3个节点组成的集群为例

  • 节点A包含0到5460号哈希槽
  • 节点B包含5461到10922号哈希槽
  • 节点C包含10923到16383号哈希槽

Redis集群的主从复制模型

集群中具有A、B、C三个节点，如果节点B失败了，整个集群就会因缺少5461-10922这个范围的槽而不可以用

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成，在节点B失败后，集群选举B1位为的主节点继续服务。当B和B1都失败后，集群将不可用

redis2坏了，其它的从节点不能去顶，因为其他从节点没有跟它做主从同步，只有它对应的从节点才会顶上去，还有就是它跟其他从节点，哈希槽位不一样，只能对应的从节点去顶，如果其中一组主从复制宕机了，数据也不会丢失，因为有存储给他们存数据。

集群功能：
既可以实现高可用，又支持读写负载均衡，且可以横向扩容，更灵活。缺点成本高！

四、Redis集群的工作原理

  • 集群有多组节点，每组节点负责一部分哈希槽。
  • 读写数据时，先针对key根据crc16的算法得出一个结果，然后把结果对 16384 取余。通过这个值去找到对应的哈希槽的节点，进行数据读写。
  • 集群每组节点内做主从复制，当主节点宕机的时候，就会启用从节点。主节点负责读写请求和集群信息的维护；从节点负责主节点数据和状态信息的复制。

五、搭建redis群集模式

redis的集群一般需要6个节点，3主3从

方便起见，这里所有节点在同一台服务器上模拟：
以端口号进行区分：3个主节点端口号：6001/6002/6003

                                对应的从节点端口号：6004/6005/6006

      cluster              ①读写可以负载均衡 ②自动故障转移   ③突破了单机存储限制

  master作用          ①可读、可写            ②利用分布式特性 存储上限  ③进行故障转移

    slave作用           ①同步自身的master ②提供可读      ③冗余 备份 准备 顶替

5.1启用脚本配置集群

[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]#cd /etc/redis/
[root@localhost redis]#ls
6379.conf
[root@localhost redis]#mkdir -p redis-cluster/redis600{1..6}
[root@localhost redis]#ls
6379.conf  redis-cluster
[root@localhost redis]#ls -p redis-cluster/
redis6001/  redis6002/  redis6003/  redis6004/  redis6005/  redis6006/
[root@localhost redis]#vim redis-cluster.sh
[root@localhost redis]#cat redis-cluster.sh
#!/bin/bash
for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done
[root@localhost redis]#bash redis-cluster.sh
[root@localhost redis]#

for循环在已知次数的时候用，while循环，重复测试某个条件时候用，例如每天备份日志

for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done

5.2修改集群配置

[root@localhost ~]#cd /etc/redis/
[root@localhost redis]#ls
6379.conf  redis-cluster  redis-cluster.sh
[root@localhost redis]#cd redis-cluster/
[root@localhost redis-cluster]#ls
redis6001  redis6002  redis6003  redis6004  redis6005  redis6006
[root@localhost redis-cluster]#cd /etc/redis/redis-cluster/redis6001
[root@localhost redis6001]#ls
redis-cli  redis.conf  redis-server
[root@localhost redis6001]#vim redis.conf
vim redis.conf
------------------------------------
#bind 127.0.0.1							#69行，注释掉bind 项，默认监听所有网卡
protected-mode no						#88行，修改，关闭保护模式
port 6001								#92行，修改，redis监听端口，
daemonize yes							#136行，开启守护进程，以独立进程启动
cluster-enabled yes						#832行，取消注释，开启群集功能
cluster-config-file nodes-6001.conf		#840行，取消注释，群集名称文件设置
cluster-node-timeout 15000				#846行，取消注释群集超时时间设置
appendonly yes							#699行，修改，开启AOF持久化

#开启群集功能：
#其他5个文件夹的配置文件以此类推修改，注意6个端口都要不一样

[root@localhost redis6001]#cd ../
[root@localhost redis-cluster]#ls
redis6001  redis6002  redis6003  redis6004  redis6005  redis6006
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6002/redis.conf      #由于配置差不多，一起拷贝过去再编辑
cp：是否覆盖"/etc/redis/redis-cluster/redis6002/redis.conf"？ yes
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6003/redis.conf 
cp：是否覆盖"/etc/redis/redis-cluster/redis6003/redis.conf"？ yes
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6004/redis.conf 
cp：是否覆盖"/etc/redis/redis-cluster/redis6004/redis.conf"？ yes
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6005/redis.conf 
cp：是否覆盖"/etc/redis/redis-cluster/redis6005/redis.conf"？ yes
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6006/redis.conf 
cp：是否覆盖"/etc/redis/redis-cluster/redis6006/redis.conf"？ yes
[root@localhost redis-cluster]#ls
redis6001  redis6002  redis6003  redis6004  redis6005  redis6006
[root@localhost redis-cluster]#vim redis6002/redis.conf  #分别进行6个端口编辑
[root@localhost redis-cluster]#vim redis6003/redis.conf 
[root@localhost redis-cluster]#vim redis6004/redis.conf 
[root@localhost redis-cluster]#vim redis6005/redis.conf 
[root@localhost redis-cluster]#vim redis6006/redis.conf 
[root@localhost redis-cluster]#

修改redis6002

cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6002/redis.conf

修改redis6003

[root@localhost redis6002]#cd ../
[root@localhost redis-cluster]#ls
redis6001  redis6002  redis6003  redis6004  redis6005  redis6006
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6003/redis.conf
cp：是否覆盖"/etc/redis/redis-cluster/redis6003/redis.conf"？ yes
[root@localhost redis-cluster]#cd redis6003
[root@localhost redis6003]#ls
redis-cli  redis.conf  redis-server
[root@localhost redis6003]#vim redis.conf 
[root@localhost redis6003]#

修改redis6004   可以修改前先做备份 

cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6004/redis.conf

修改redis6005

[root@localhost redis6004]#cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6005/redis.conf
cp：是否覆盖"/etc/redis/redis-cluster/redis6005/redis.conf"？ yes
[root@localhost redis6004]#vim /etc/redis/redis-cluster/redis6005/redis.conf

修改redis6006

[root@localhost redis6004]#cp /etc/redis/redis-cluster/redis6001/redis.conf   /etc/redis/redis-cluster/redis6006/redis.conf
cp：是否覆盖"/etc/redis/redis-cluster/redis6006/redis.conf"？ yes
[root@localhost redis6004]#vim /etc/redis/redis-cluster/redis6006/redis.conf

5.3启动redis节点

分别进入那六个文件夹，执行命令：redis-server redis.conf ，来启动redis节点

cd /etc/redis/redis-cluster/redis6001  #进入对应实例1目录
redis-server redis.conf  #执行启动redis实例1

......

也可以设置一个脚本来执行

for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done

[root@localhost redis-cluster]#vim redis.sh
[root@localhost redis-cluster]#cat redis.sh
for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done
[root@localhost redis-cluster]#
[root@localhost redis-cluster]#bash redis.sh
52754:C 05 Apr 2024 23:14:37.775 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52754:C 05 Apr 2024 23:14:37.775 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52754, just started
52754:C 05 Apr 2024 23:14:37.775 # Configuration loaded
52756:C 05 Apr 2024 23:14:37.786 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52756:C 05 Apr 2024 23:14:37.786 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52756, just started
52756:C 05 Apr 2024 23:14:37.786 # Configuration loaded
52761:C 05 Apr 2024 23:14:37.793 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52761:C 05 Apr 2024 23:14:37.793 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52761, just started
52761:C 05 Apr 2024 23:14:37.793 # Configuration loaded
52763:C 05 Apr 2024 23:14:37.810 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52763:C 05 Apr 2024 23:14:37.810 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52763, just started
52763:C 05 Apr 2024 23:14:37.810 # Configuration loaded
52765:C 05 Apr 2024 23:14:37.835 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52765:C 05 Apr 2024 23:14:37.835 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52765, just started
52765:C 05 Apr 2024 23:14:37.835 # Configuration loaded
52773:C 05 Apr 2024 23:14:37.853 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52773:C 05 Apr 2024 23:14:37.854 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52773, just started
52773:C 05 Apr 2024 23:14:37.854 # Configuration loaded
[root@localhost redis-cluster]#ps -elf|grep redis
5 S root      44354      1  0  80   0 - 41826 ep_pol 14:40 ?        00:01:36 /usr/local/bin/redis-server 127.0.0.1:6379
5 S root      52755      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6001 [cluster]
5 S root      52760      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6002 [cluster]
5 S root      52762      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6003 [cluster]
5 S root      52764      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6004 [cluster]
5 S root      52772      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6005 [cluster]
5 S root      52780      1  0  80   0 - 38499 ep_pol 23:14 ?        00:00:00 redis-server *:6006 [cluster]
0 R root      52793  51689  0  80   0 - 28206 -      23:15 pts/1    00:00:00 grep --color=auto redis

5.4启动集群

redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1

#六个实例分为三组，每组一主一从，前面的做主节点，后面的做从节点。下面交互的时候 需要输入 yes 才可以创建。
--replicas 1 表示每个主节点有1个从节点

#前面三个ip+端口是master服务器，后面三个是slave服务器

6001/6002/6003是redis的主服务器，6004/6005/6006是redis的从服务器

此处ip地址可以用127.0.0.1也可以写本机ip地址192.168.246.8

5.5测试群集

[root@localhost redis-cluster]#redis-cli -p 6001 -c #加-c参数，节点之间就可以互相跳转
127.0.0.1:6001> cluster slots  #查看节点的哈希槽编号范围
1) 1) (integer) 10923
   2) (integer) 16383   #哈希槽编号范围
   3) 1) "127.0.0.1"
      2) (integer) 6003  #主节点IP和端口号
      3) "3ca7203553613ca22049c36e2e2364304fff2248"
   4) 1) "127.0.0.1"
      2) (integer) 6006  #从节点IP和端口号
      3) "195a17349aaf915ccd8840d8c7b8b9178ff5475e"
2) 1) (integer) 0
   2) (integer) 5460
   3) 1) "127.0.0.1"
      2) (integer) 6001
      3) "5a1688613ce542966b334c4c62e485e84bf15009"
   4) 1) "127.0.0.1"
      2) (integer) 6004
      3) "5b1be9eabe665c3babb4c99e7082d2a7763e019a"
3) 1) (integer) 5461
   2) (integer) 10922
   3) 1) "127.0.0.1"
      2) (integer) 6002
      3) "3ca94c0c41677613f363bc21b8bd954143c32992"
   4) 1) "127.0.0.1"
      2) (integer) 6005
      3) "6cecd64dde7db6d4604eb723a0c0aad78001695a"
127.0.0.1:6001>

对应的slave节点也有这条数据，但是别的节点没有

[root@localhost redis-cluster]#redis-cli -p 6001 -c
127.0.0.1:6001> set name zzz
-> Redirected to slot [5798] located at 127.0.0.1:6002
OK
127.0.0.1:6002> get name
"zzz"
127.0.0.1:6002> exit
[root@localhost redis-cluster]#redis-cli -p 6002 -c
127.0.0.1:6002> keys 8
(empty list or set)
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002> 
[root@localhost redis-cluster]#redis-cli -p 6004 -c
127.0.0.1:6004> keys *
(empty list or set)
127.0.0.1:6004> 
[root@localhost redis-cluster]#redis-cli -p 6005 -c
127.0.0.1:6005> keys *
1) "name"
127.0.0.1:6005> 
[root@localhost redis-cluster]#redis-cli -p 6001 -c
127.0.0.1:6001> keys *
(empty list or set)
127.0.0.1:6001> 
[root@localhost redis-cluster]#redis-cli -p 6003 -c
127.0.0.1:6003> keys *
(empty list or set)
127.0.0.1:6003> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> cluster keyslot name
(integer) 5798
127.0.0.1:6002>

集群模式——Cluster
redis cluster 是一个提供高性能、高可用、数据分片、故障转移特性的分布式数据库解决方案，提供一组redis服务之间的网络接口。

  • 数据分片：redis cluster 实现了就爱那个数据自动分片，每个节点都会保存一份数据
  • 故障转移：若个某个节点发生故障，cluster会自动将其上的分片迁移个其他节点
  • 高性能：由于数据分片和网络，redis cluster提供高性能的数据操作
  • 高可能：如果单个节点挂掉了，那么redis cluster 内部会自动进行故障恢复

①redis主从复制

reids 主从复制是一种同步机制，主服务器数据的修改，会实时同步到从服务器上，实现数据备份和读写分离

②哨兵模式

redis 哨兵是一个用于管理多个redis 服务器的系统 ，它提供监控 、通知、自动故障转移和配置服务，来实现redis高可用性。

哨兵功能

1）监控
2）通知
3）自动故障转移

4）配置提供服务(客户端做为验证)

③集群cluster

redis 集群 是一个提供高性能、 高可用、数据分片、 故障转移特性的 分布式 分数据库模式

1)数据分片

2）故障转移

3）高性能

4）高可用

白开水~不加糖
关注
  • 9
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值