Redis集群

爱的叹息

于 2025-04-18 15:07:55 发布

阅读量974

点赞数 38

分类专栏： redis 文章标签： redis 数据库缓存

本文链接：https://blog.csdn.net/zp357252539/article/details/147333382

版权

redis 专栏收录该内容

19 篇文章

订阅专栏

Redis集群

以下是Redis集群的详细解析，涵盖核心概念、架构、配置、工作原理及常见场景：
在这里插入图片描述

一、核心概念

术语	说明
节点角色	- 主节点（Master）：处理读写请求 - 从节点（Slave）：主节点的副本，故障时接管 - 游离节点（Fail）：与集群断开连接的节点
槽位（Slot）	数据分片单位，共16384个槽位，每个键通过CRC16算法哈希到某一槽位，槽位分配到主节点
Gossip协议	节点间通过该协议交换状态信息（如槽位分配、节点健康状态），实现集群拓扑发现和故障检测
集群总览命令	`CLUSTER INFO`：查看集群状态 `CLUSTER NODES`：查看节点信息 `CLUSTER SLOTS`：查看槽位分配

二、集群架构

节点通信：
- 节点间通过TCP/IP协议通信，默认端口6379。
- 每个节点维护其他节点的元数据（如IP、端口、槽位分配）并通过Gossip协议同步。
槽位分配：
- 每个主节点负责一定数量的槽位（如初始配置每个节点分配5461槽位）。
- 通过CLUSTER ADDSLOTS命令手动分配槽位，或使用redis-cli --cluster create自动分配。
客户端路由：
- 客户端（如Jedis/Lettuce）根据键计算槽位哈希，直接路由到负责该槽位的主节点。
- 若节点故障，客户端根据集群返回的重定向信息自动切换到新节点。

三、集群搭建步骤

1. 安装与启动节点

# 下载并解压Redis
wget https://download.redis.io/releases/redis-7.0.5.tar.gz
tar -xzf redis-7.0.5.tar.gz
cd redis-7.0.5

# 启动6个节点（端口7000-7005）
for port in {7000..7005}; do
  ./src/redis-server --port $port --cluster-enabled yes --cluster-config-file nodes-$port.conf &
done

2. 创建集群

# 使用redis-cli创建集群（需提供至少2个节点地址）
redis-cli --cluster create \
  127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 \
  127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 \
  --cluster-replicas 1  # 每个主节点配置1个从节点

3. 验证集群状态

redis-cli -p 7000 cluster nodes  # 查看节点列表
redis-cli -p 7000 cluster info   # 查看集群状态

四、核心机制

1. 数据分片

键到槽位的映射：

slot = CRC16(key) % 16384;  // 客户端自动计算

分片键设计：
- 使用哈希标签（{}）确保关联数据分到同一槽位，例如：
```
SET user:{1001}:name "Alice"  // 槽位由"{1001}"决定
```

2. 故障转移

触发条件：主节点超过cluster-node-timeout（默认1500ms）未响应。
流程：
1. 从节点投票选举新主节点。
2. 客户端收到MOVED响应后自动重定向到新主节点。
3. 故障节点恢复后成为从节点。

3. 槽位迁移

场景：扩容或平衡数据分布时。

命令示例：

# 将槽位0-5460从节点A迁移到节点B
redis-cli --cluster reshard nodes.cfg
redis-cli -h nodeA -p 7000 cluster meet nodeB 7001

五、常见问题与解决方案

问题	解决方案
节点无法加入集群	检查防火墙、端口是否开放，确保所有节点可互相通信。
槽位分配不均	使用`redis-cli --cluster reshard`重新分配槽位。
客户端连接失败（MOVED异常）	客户端配置`maxRedirection`参数（如Jedis默认5次重定向）。
数据丢失	确保每个主节点至少有一个从节点，配置`appendonly yes`启用AOF持久化。

六、最佳实践

最小集群配置：至少3主3从（满足Quorum条件，防止脑裂）。
监控与告警：使用Redis自带redis-cli或工具（如Prometheus+Grafana）监控集群状态。
性能优化：
- 调整cluster-node-timeout（避免频繁故障转移）。
- 启用Pipeline批量操作减少网络开销。
安全配置：
- 设置密码（requirepass）。
- 启用SSL加密（tls-port）。

七、总结表格

模块	关键点
集群发现	Gossip协议实现节点间状态同步，客户端自动发现集群拓扑。
数据分片	16384个槽位，CRC16哈希算法，键设计需注意哈希标签。
高可用	主从自动故障转移，需配置足够从节点。
客户端适配	支持Jedis/Lettuce等库，需配置集群模式和重定向参数。

通过以上步骤和机制，Redis集群实现了分布式、高可用的数据存储能力，适用于大规模读写场景。

java使用redis集群

以下是Java应用Redis集群的详细过程说明：

一、Redis集群集成步骤

环境准备
- 安装Redis集群（至少3主3从，使用redis-cli --cluster create创建）
- 选择Java客户端库（推荐Jedis或Lettuce）

客户端配置

Jedis集群模式：

JedisPoolConfig poolConfig = new JedisPoolConfig();
JedisCluster jedisCluster = new JedisCluster(
    Arrays.asList(new HostAndPort("127.0.0.1", 7000),
                 new HostAndPort("127.0.0.1", 7001)),
    3000, 2, "password", poolConfig);

Lettuce集群模式：

RedisClusterClient client = RedisClusterClient.create("redis://127.0.0.1:7000");
StatefulRedisClusterConnection<String, String> connection = client.connect();

数据操作
- 使用jedisCluster.set("key", "value")等API，客户端自动路由请求到对应节点
- 关键操作需指定分片键（如jedisCluster.set("key{shard}", "value")）

二、核心场景说明

场景	说明
连接配置	需提供至少2个节点地址，客户端自动发现集群拓扑，支持密码、超时、连接池配置
分片策略	Redis Cluster使用CRC16算法计算键哈希，分配到槽位（0-16383），客户端自动路由
故障转移	客户端监听节点状态，主节点下线时自动切换到从节点，需配置重试机制（如maxRedirection）
数据一致性	使用`WATCH`+`MULTI`事务或Redis Cluster的`CLUSTER SETSLOT`命令保证槽位一致性
性能优化	调整连接池大小、超时时间（如连接超时、命令超时）、启用Pipeline批量操作

三、关键类作用说明

类名	作用
JedisCluster	Jedis的集群客户端，封装节点发现、路由、故障转移逻辑
ClusterConnectionPoolManager	Jedis集群模式的连接池管理器，维护各节点的连接池
RedisClusterClient (Lettuce)	Lettuce的集群客户端，基于Netty实现异步非阻塞通信
StatefulRedisClusterConnection	Lettuce的有状态连接，自动处理集群拓扑变化和重定向
ClusterNode	表示集群中的节点信息（IP、端口、角色、槽位分配等）

四、总结表格

模块	功能	注意事项
集群发现	自动发现集群节点和拓扑结构	需至少提供2个初始节点地址
键路由	根据键哈希值将请求路由到对应节点	分片键设计需均匀分布
故障恢复	主节点故障时自动切换到从节点，客户端需配置重试次数（如maxRedirection）	避免频繁切换导致性能下降
连接池管理	管理各节点的连接池，避免资源耗尽	根据QPS合理设置最大连接数
安全配置	支持密码认证、SSL加密	生产环境必须启用密码和SSL