rocketmq多主多从异步复制模式集群搭建

最新推荐文章于 2024-05-28 11:43:32 发布
最新推荐文章于 2024-05-28 11:43:32 发布
阅读量1.4k 收藏 10
点赞数 4
分类专栏： 运维开发 Linux 运维大桶 文章标签： 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zpsimon/article/details/124154411
版权
运维大桶 同时被 3 个专栏收录
20 篇文章 0 订阅
订阅专栏
Linux
12 篇文章 0 订阅
订阅专栏
运维开发
8 篇文章 0 订阅
订阅专栏

本文目录

RocketMQ集群服务

集群服务

方案1：多master模式

在这里插入图片描述

优点：

  • 运维较方便
  • 性能较好

缺点：

  • 若broker宕机，则broker上未被消费的消息在broker恢复前无法消费

方案2：多“master-slave”异步复制模式

在broker节点中，每一个master配置一个slave。producer写数据到master完成后立即得到“写入完成”的响应。后台再异步将master上的数据增量复制到slave。

在这里插入图片描述

优点：

  • master出现异常后，slave能继续提供消费服务
  • 消息可靠性较高，性能与方案1相同

缺点：

  • broker宕机后，slave永远无法成为master，即producer无法再向该mater写入消息

方案3：多“master-slave”同步复制模式（同步双写）

在broker节点中，每一个master配置一个slave。producer写数据时，同步向master和slave同步写入，都写入成功才向producer返回“写入成功”的响应。

在这里插入图片描述

优点：

  • 数据库可靠性比方案2更高

缺点：

  • 性能比方案1,2 要略低
  • broker宕机后，slave永远无法成为master，即producer无法再向该mater写入消息

方案4：DLedger(多副本)模式（唯一的推荐使用方案）

前提：在RocketMQ4.5版本以后提供了DLedger集群架构，要求一个broker集群中至少要提供有三个broker集群分片（即多对“1master多slave”），一旦master节点宕机，DLedger会自动从剩下的多个slave中选举出一个新的master继续对外提供服务。master与slave之间的数据同步可以支持异步模式和同步模式。

在这里插入图片描述

优点：

  • master节点异常时，能自动选举出新master提供服务

缺点：

  • 耗费资源较多

”多主多从异步复制“集群模式

部署规划

集群使用交叉部署：三台机器，每台各自装一个nameserver，三个broker：一个master，两个其他brokber的slave。采用异步复制模式

【node1】10.90.19.243 namesever-1、master-a、c-slave1
【node2】10.90.19.245 namesever-2、master-b、a-slave1
【node3】10.90.19.246 namesever-3、master-c、b-slave1

1.搭建nameserver集群

nameserver节点时彼此独立的，每个节点的数据都是完整的一份，并不是真正意义上的“集群”

1.上传二进制版本的rocketmq安装文件/tmp目录

2.【node1】创建目录，并解压安装文件到/usr/local/rocketmq/rocketmq-nameserver

【node1】
mkdir -p /usr/local/rocketmq
cd /usr/local/rocketmq
unzip /tmp/rocketmq-all-4.9.1-bin-release.zip -d /usr/local/rocketmq/
cp -r rocketmq-all-4.9.1-bin-release rocketmq-nameserver
rm -rf rocketmq-all-4.9.1-bin-release

3.创建数据目录和日志目录

mkdir -p /usr/local/rocketmq/rocketmq-nameserver/data
mkdir -p /usr/local/rocketmq/rocketmq-nameserver/logs

4.【node1】创建nameserver.conf的配置文件，并修改

touch /usr/local/rocketmq/rocketmq-nameserver/conf/nameserver.conf
cat>/usr/local/rocketmq/rocketmq-nameserver/conf/nameserver.conf<<EOF
#数据保存目录,需要配置,不配置的话默认在/root/namesrv
kvConfigPath=/usr/local/rocketmq/rocketmq-nameserver/data/kvConfig.json
#是否启用Epoll IO模型
useEpollNativeSelector=true
#端口
listenPort=9876
EOF

5.【node1]修改nameserver的日志路径

/usr/local/rocketmq/rocketmq-nameserver/conf/logback_namesrv.xml
sed -i 's?${user.home}/logs/rocketmqlogs?/usr/local/rocketmq/rocketmq-nameserver/logs?' logback_namesrv.xml

6.【node1]修改启动脚本脚本

根据硬件配置修改JVM参数

更改前：JAVA_OPT=“${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m”

更改后：JAVA_OPT=“${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m”

sed -i 's#${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m#${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m#' /usr/local/rocketmq/rocketmq-nameserver/bin/runserver.sh

7.【node1】启动nameserver

nohup sh /usr/local/rocketmq/rocketmq-nameserver/bin/mqnamesrv -c /usr/local/rocketmq/rocketmq-nameserver/conf/nameserver.conf >/dev/null 2>&1 &

#日志中有如下输出，说明nameserver启动成功
……
2022-04-13 11:42:22 INFO main - The Name Server boot success. serializeType=JSON

8.将【node1】/usr/local/rocketmq/rocketmq-nameserver 整个目录拷贝到node2,node3上后，直接启动nameserver即可。

nohup sh /usr/local/rocketmq/rocketmq-nameserver/bin/mqnamesrv -c /usr/local/rocketmq/rocketmq-nameserver/conf/nameserver.conf >/dev/null 2>&1 &

至此nameserver集群搭建完成

2.搭建broker集群搭建

先搭建一个master-a，验证启动后，再修改配置复制到其他节点即可。

步骤：

1）【node1】搭建master-a

1.上传二进制版本的rocketmq安装文件/tmp目录

2.【node1】创建目录，并解压安装文件到/usr/local/rocketmq/rocketmq-a-m

【node1】
mkdir -p /usr/local/rocketmq
cd /usr/local/rocketmq
unzip /tmp/rocketmq-all-4.9.1-bin-release.zip -d /usr/local/rocketmq/
cp -r rocketmq-all-4.9.1-bin-release rocketmq-a-m
rm -rf rocketmq-all-4.9.1-bin-release

3.创建数据目录和日志目录

mkdir -p /usr/local/rocketmq/rocketmq-a-m/store
mkdir -p /usr/local/rocketmq/rocketmq-a-m/store/commitlog
mkdir -p /usr/local/rocketmq/rocketmq-a-m/store/consumequeue
mkdir -p /usr/local/rocketmq/rocketmq-a-m/logs

4.修改broker配置文件

可用配置

cat>/usr/local/rocketmq/rocketmq-a-m/conf/broker.conf<<EOF
#端口（注意：broker启动后，会占用3个端口，默认是10911（供客户端连接）。分别在listenPort基础上-2（实现Master与Slave之间的数据同步）。+1（实现HA机制的监听端口）。
#如果单机上部署有个broker，除以不要端口冲突了，该例中可以将a-slave1的listenPort修改为任意一个不要冲突的端口
listenPort = 10911
#RocketMQ主目录
rocketmqHome = /usr/local/rocketmq/rocketmq-a-m
#消息数据存放的根目录
storePathRootDir = /usr/local/rocketmq/rocketmq-a-m/store
#commitlog保存目录
storePathCommitLog = /usr/local/rocketmq/rocketmq-a-m/store/commitlog
#消费队列存储路径存储路径
storePathConsumerQueue = /usr/local/rocketmq/rocketmq-a-m/store/consumequeue
#broker集群名称
brokerClusterName = Rocketmq01
#nameserver地址，多个以分号隔开
namesrvAddr=10.90.19.243:9876;10.90.19.245:9876;10.90.19.246:9876
#broker名称（每组主从节点使用相同的brokerName，方便查看）
brokerName = broker-a
#Broker对外提供服务地址
brokerIP1 = 10.90.19.243
#供slave同步消息的地址
brokerIP2= 10.90.19.243
#broker的id,0为主,非0为从
brokerId = 0
#删除文件时间点，默认凌晨4点。24小时制，单位小时
deleteWhen = 04
#文件保存小时数
fileReservedTime = 72
#SYNC_MASTER/ASYNC_MASTER/SLAVE 节点角色
brokerRole = ASYNC_MASTER
#刷盘方式
flushDiskType = ASYNC_FLUSH
#是否允许Broker自动创建Topic
autoCreateTopicEnable = false
#是否允许 Broker 自动创建订阅组
autoCreateSubscriptionGroup = false
#linux开启epoll
useEpollNativeSelector = true
EOF

5.修改日志文件保存路径

sed -i 's?${user.home}/logs/rocketmqlogs?/usr/local/rocketmq/rocketmq-a-m/logs?' /usr/local/rocketmq/rocketmq-a-m/conf/logback_broker.xml
sed -i 's?${user.home}/logs/rocketmqlogs?/usr/local/rocketmq/rocketmq-a-m/logs?' /usr/local/rocketmq/rocketmq-a-m/conf/logback_namesrv.xml
sed -i 's?${user.home}/logs/rocketmqlogs?/usr/local/rocketmq/rocketmq-b-m/logs?' /usr/local/rocketmq/rocketmq-a-m/conf/logback_tools.xml

6.修改broker启动脚本runbroker.sh

修改JVM参数，GC日志路径（可选）

更改前：JAVA_OPT=“${JAVA_OPT} -server -Xms8g -Xmx8g”

更改后：JAVA_OPT=“${JAVA_OPT} -server -Xms1g -Xmx1g”

sed -i 's#JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g"#JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g"#' /usr/local/rocketmq/rocketmq-a-m/bin/runbroker.sh

7.【node1】启动broker-a 的master

nohup /usr/local/rocketmq/rocketmq-a-m/bin/mqbroker -c /usr/local/rocketmq/rocketmq-a-m/conf/broker.conf > /dev/null 2>&1 &

如下表示master-a的broker启动成功：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cSipICCB-1649844551370)(D:\Users\80338871\AppData\Roaming\Typora\typora-user-images\image-20220413142625305.png)]

2）【node2】搭建a-slave1

参考“【node1】搭建master-a”。

1.从【node1】拷贝整个/usr/local/rocketmq/rocketmq-a-m/到【node2】，并解压

tar -zxf rocketmq-a-m.tar.gz  -C /usr/local/rocketmq/
mv /usr/local/rocketmq/rocketmq-a-m /usr/local/rocketmq/rocketmq-a-s1

2.创建数据目录和日志目录

rm -rf /usr/local/rocketmq/rocketmq-a-s1/store && mkdir -p /usr/local/rocketmq/rocketmq-a-s1/store
rm -rf /usr/local/rocketmq/rocketmq-a-s1/logs &&  mkdir -p /usr/local/rocketmq/rocketmq-a-s1/store/commitlog
mkdir -p /usr/local/rocketmq/rocketmq-a-s1/store/consumequeue
mkdir -p /usr/local/rocketmq/rocketmq-a-s1/logs

3.修改配置项

基于master-a的配置，修改：rocketmqHome，storePathRootDir，storePathCommitLog，storePathConsumerQueue，brokerName，brokerIP1，brokerIP2

cat>/usr/local/rocketmq/rocketmq-a-s1/conf/broker.conf<<EOF
#端口（注意：broker启动后，会占用3个端口，默认是10911（供客户端连接）。分别在listenPort基础上-2（实现Master与Slave之间的数据同步）。+1（实现HA机制的监听端口）。
#如果单机上部署有个broker，除以不要端口冲突了
listenPort = 10950
#RocketMQ主目录
rocketmqHome = /usr/local/rocketmq/rocketmq-a-s1
#消息数据存放的根目录
storePathRootDir = /usr/local/rocketmq/rocketmq-a-s1/store
#commitlog保存目录
storePathCommitLog = /usr/local/rocketmq/rocketmq-a-s1/store/commitlog
#消费队列存储路径存储路径
storePathConsumerQueue = /usr/local/rocketmq/rocketmq-a-s1/store/consumequeue
#broker集群名称
brokerClusterName = Rocketmq01
#nameserver地址，多个以分号隔开
namesrvAddr=10.90.19.243:9876;10.90.19.245:9876;10.90.19.246:9876
#broker名称（每组主从节点使用相同的brokerName，方便查看）
brokerName = broker-a
#Broker对外提供服务地址
brokerIP1 = 10.90.19.245
#供slave同步消息的地址
brokerIP2= 10.90.19.245
#broker的id,0为主,非0为从
brokerId = 1
#删除文件时间点，默认凌晨4点。24小时制，单位小时
deleteWhen = 04
#文件保存小时数
fileReservedTime = 72
#SYNC_MASTER/ASYNC_MASTER/SLAVE 节点角色
brokerRole = ASYNC_MASTER
#刷盘方式
flushDiskType = ASYNC_FLUSH
#是否允许Broker自动创建Topic
autoCreateTopicEnable = false
#是否允许 Broker 自动创建订阅组
autoCreateSubscriptionGroup = false
#linux开启epoll
useEpollNativeSelector = true
EOF

4.修改日志保存路径

sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-a-s1/logs/?' /usr/local/rocketmq/rocketmq-a-s1/conf/logback_broker.xml
sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-a-s1/logs/?' /usr/local/rocketmq/rocketmq-a-s1/conf/logback_namesrv.xml
sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-a-s1/logs/?' /usr/local/rocketmq/rocketmq-a-s1/conf/logback_tools.xml

5.启动broker-a 的a-slave1

nohup /usr/local/rocketmq/rocketmq-a-s1/bin/mqbroker -c /usr/local/rocketmq/rocketmq-a-s1/conf/broker.conf > /dev/null 2>&1 &
3）【node2】搭建master-b

参考“【node1】搭建master-a”。

1.从【node1】拷贝整个/usr/local/rocketmq/rocketmq-a-m/到【node2】，并解压

tar -zxf rocketmq-a-m.tar.gz  -C /usr/local/rocketmq/
mv /usr/local/rocketmq/rocketmq-a-m /usr/local/rocketmq/rocketmq-b-m

2.创建数据目录和日志目录

rm -rf /usr/local/rocketmq/rocketmq-b-m/store && mkdir -p /usr/local/rocketmq/rocketmq-b-m/store
rm -rf /usr/local/rocketmq/rocketmq-b-m/logs &&  mkdir -p /usr/local/rocketmq/rocketmq-b-m/store/commitlog
mkdir -p /usr/local/rocketmq/rocketmq-b-m/store/consumequeue
mkdir -p /usr/local/rocketmq/rocketmq-b-m/logs

3.修改配置项

基于master-a的配置，修改：rocketmqHome，storePathRootDir，storePathCommitLog，storePathConsumerQueue，brokerName，brokerIP1，brokerIP2

cat>/usr/local/rocketmq/rocketmq-b-m/conf/broker.conf<<EOF
#端口（注意：broker启动后，会占用3个端口，默认是10911（供客户端连接）。分别在listenPort基础上-2（实现Master与Slave之间的数据同步）。+1（实现HA机制的监听端口）。
#如果单机上部署有个broker，除以不要端口冲突了
listenPort = 10911
#RocketMQ主目录
rocketmqHome = /usr/local/rocketmq/rocketmq-b-m
#消息数据存放的根目录
storePathRootDir = /usr/local/rocketmq/rocketmq-b-m/store
#commitlog保存目录
storePathCommitLog = /usr/local/rocketmq/rocketmq-b-m/store/commitlog
#消费队列存储路径存储路径
storePathConsumerQueue = /usr/local/rocketmq/rocketmq-b-m/store/consumequeue
#broker集群名称
brokerClusterName = Rocketmq01
#nameserver地址，多个以分号隔开
namesrvAddr=10.90.19.243:9876;10.90.19.245:9876;10.90.19.246:9876
#broker名称（每组主从节点使用相同的brokerName，方便查看）
brokerName = broker-b
#Broker对外提供服务地址
brokerIP1 = 10.90.19.245
#供slave同步消息的地址
brokerIP2= 10.90.19.245
#broker的id,0为主,非0为从
brokerId = 0
#删除文件时间点，默认凌晨4点。24小时制，单位小时
deleteWhen = 04
#文件保存小时数
fileReservedTime = 72
#SYNC_MASTER/ASYNC_MASTER/SLAVE 节点角色
brokerRole = ASYNC_MASTER
#刷盘方式
flushDiskType = ASYNC_FLUSH
#是否允许Broker自动创建Topic
autoCreateTopicEnable = false
#是否允许 Broker 自动创建订阅组
autoCreateSubscriptionGroup = false
#linux开启epoll
useEpollNativeSelector = true
EOF

4.修改日志保存路径

sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-b-m/logs/?' /usr/local/rocketmq/rocketmq-b-m/conf/logback_broker.xml
sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-b-m/logs/?' /usr/local/rocketmq/rocketmq-b-m/conf/logback_namesrv.xml
sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-b-m/logs/?' /usr/local/rocketmq/rocketmq-b-m/conf/logback_tools.xml

5.启动broker-b 的master-b

nohup /usr/local/rocketmq/rocketmq-b-m/bin/mqbroker -c /usr/local/rocketmq/rocketmq-b-m/conf/broker.conf > /dev/null 2>&1 &
4）【node3】搭建b-slave1

1.从【node1】拷贝整个/usr/local/rocketmq/rocketmq-a-m/到【node3】，并解压

tar -zxf rocketmq-a-m.tar.gz  -C /usr/local/rocketmq/
mv /usr/local/rocketmq/rocketmq-a-m /usr/local/rocketmq/rocketmq-b-s1

2.创建数据目录和日志目录

rm -rf /usr/local/rocketmq/rocketmq-b-m/store && mkdir -p /usr/local/rocketmq/rocketmq-b-m/store
rm -rf /usr/local/rocketmq/rocketmq-b-m/logs &&  mkdir -p /usr/local/rocketmq/rocketmq-b-m/store/commitlog
mkdir -p /usr/local/rocketmq/rocketmq-b-m/store/consumequeue
mkdir -p /usr/local/rocketmq/rocketmq-b-m/logs

3.修改配置项

基于master-a的配置，修改：rocketmqHome，storePathRootDir，storePathCommitLog，storePathConsumerQueue，brokerName，brokerIP1，brokerIP2

cat>/usr/local/rocketmq/rocketmq-b-s1/conf/broker.conf<<EOF
#端口（注意：broker启动后，会占用3个端口，默认是10911（供客户端连接）。分别在listenPort基础上-2（实现Master与Slave之间的数据同步）。+1（实现HA机制的监听端口）。
#如果单机上部署有个broker，除以不要端口冲突了
listenPort = 10950
#RocketMQ主目录
rocketmqHome = /usr/local/rocketmq/rocketmq-b-s1
#消息数据存放的根目录
storePathRootDir = /usr/local/rocketmq/rocketmq-b-s1/store
#commitlog保存目录
storePathCommitLog = /usr/local/rocketmq/rocketmq-b-s1/store/commitlog
#消费队列存储路径存储路径
storePathConsumerQueue = /usr/local/rocketmq/rocketmq-b-s1/store/consumequeue
#broker集群名称
brokerClusterName = Rocketmq01
#nameserver地址，多个以分号隔开
namesrvAddr=10.90.19.243:9876;10.90.19.245:9876;10.90.19.246:9876
#broker名称（每组主从节点使用相同的brokerName，方便查看）
brokerName = broker-b
#Broker对外提供服务地址
brokerIP1 = 10.90.19.246
#供slave同步消息的地址
brokerIP2= 10.90.19.246
#broker的id,0为主,非0为从
brokerId = 1
#删除文件时间点，默认凌晨4点。24小时制，单位小时
deleteWhen = 04
#文件保存小时数
fileReservedTime = 72
#SYNC_MASTER/ASYNC_MASTER/SLAVE 节点角色
brokerRole = SLAVE
#刷盘方式
flushDiskType = ASYNC_FLUSH
#是否允许Broker自动创建Topic
autoCreateTopicEnable = false
#是否允许 Broker 自动创建订阅组
autoCreateSubscriptionGroup = false
#linux开启epoll
useEpollNativeSelector = true
EOF

4.修改日志保存路径

sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-b-m/logs/?' logback_broker.xml
sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-b-m/logs/?' logback_namesrv.xml
sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-b-m/logs/?' logback_tools.xml

5.启动broker-b的b-slave1

nohup /usr/local/rocketmq/rocketmq-b-m/bin/mqbroker -c /usr/local/rocketmq/rocketmq-b-m/conf/broker.conf > /dev/null 2>&1 &
5）【node3】搭建master-c

1.从【node1】拷贝整个/usr/local/rocketmq/rocketmq-a-m/到【node2】，并解压

tar -zxf rocketmq-a-m.tar.gz  -C /usr/local/rocketmq/
mv /usr/local/rocketmq/rocketmq-a-m /usr/local/rocketmq/rocketmq-c-m

2.创建数据目录和日志目录

rm -rf /usr/local/rocketmq/rocketmq-c-m/store && mkdir -p /usr/local/rocketmq/rocketmq-c-m/store
rm -rf /usr/local/rocketmq/rocketmq-c-m/logs &&  mkdir -p /usr/local/rocketmq/rocketmq-c-m/store/commitlog
mkdir -p /usr/local/rocketmq/rocketmq-c-m/store/consumequeue
mkdir -p /usr/local/rocketmq/rocketmq-c-m/logs

3.修改配置项

基于master-a的配置，修改：rocketmqHome，storePathRootDir，storePathCommitLog，storePathConsumerQueue，brokerName，brokerIP1，brokerIP2

cat>/usr/local/rocketmq/rocketmq-c-m/conf/broker.conf<<EOF
#端口（注意：broker启动后，会占用3个端口，默认是10911（供客户端连接）。分别在listenPort基础上-2（实现Master与Slave之间的数据同步）。+1（实现HA机制的监听端口）。
#如果单机上部署有个broker，除以不要端口冲突了
listenPort = 10911
#RocketMQ主目录
rocketmqHome = /usr/local/rocketmq/rocketmq-c-m
#消息数据存放的根目录
storePathRootDir = /usr/local/rocketmq/rocketmq-c-m/store
#commitlog保存目录
storePathCommitLog = /usr/local/rocketmq/rocketmq-c-m/store/commitlog
#消费队列存储路径存储路径
storePathConsumerQueue = /usr/local/rocketmq/rocketmq-c-m/store/consumequeue
#broker集群名称
brokerClusterName = Rocketmq01
#nameserver地址，多个以分号隔开
namesrvAddr=10.90.19.243:9876;10.90.19.245:9876;10.90.19.246:9876
#broker名称（每组主从节点使用相同的brokerName，方便查看）
brokerName = broker-c
#Broker对外提供服务地址
brokerIP1 = 10.90.19.246
#供slave同步消息的地址
brokerIP2= 10.90.19.246
#broker的id,0为主,非0为从
brokerId = 0
#删除文件时间点，默认凌晨4点。24小时制，单位小时
deleteWhen = 04
#文件保存小时数
fileReservedTime = 72
#SYNC_MASTER/ASYNC_MASTER/SLAVE 节点角色
brokerRole = ASYNC_MASTER
#刷盘方式
flushDiskType = ASYNC_FLUSH
#是否允许Broker自动创建Topic
autoCreateTopicEnable = false
#是否允许 Broker 自动创建订阅组
autoCreateSubscriptionGroup = false
#linux开启epoll
useEpollNativeSelector = true
EOF

4.修改日志保存路径

sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-c-m/logs/?' /usr/local/rocketmq/rocketmq-c-m/conf/logback_broker.xml
sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-c-m/logs/?' /usr/local/rocketmq/rocketmq-c-m/conf/logback_namesrv.xml
sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-c-m/logs/?' /usr/local/rocketmq/rocketmq-c-m/conf/logback_tools.xml

5.启动broker-c 的master-c

nohup /usr/local/rocketmq/rocketmq-c-m/bin/mqbroker -c /usr/local/rocketmq/rocketmq-c-m/conf/broker.conf > /dev/null 2>&1 &
6）【node1】搭建c-slave1

参考“【node1】搭建master-a”。

1.从【node1】拷贝整个/usr/local/rocketmq/rocketmq-a-m/到【node2】，并解压

tar -zxf rocketmq-a-m.tar.gz  -C /usr/local/rocketmq/
mv /usr/local/rocketmq/rocketmq-a-m /usr/local/rocketmq/rocketmq-c-s1

2.创建数据目录和日志目录

rm -rf /usr/local/rocketmq/rocketmq-c-s1/store && mkdir -p /usr/local/rocketmq/rocketmq-c-s1/store
rm -rf /usr/local/rocketmq/rocketmq-c-s1/logs &&  mkdir -p /usr/local/rocketmq/rocketmq-c-s1/store/commitlog
mkdir -p /usr/local/rocketmq/rocketmq-c-s1/store/consumequeue
mkdir -p /usr/local/rocketmq/rocketmq-c-s1/logs

3.修改配置项

基于master-a的配置，修改：rocketmqHome，storePathRootDir，storePathCommitLog，storePathConsumerQueue，brokerName，brokerIP1，brokerIP2

cat>/usr/local/rocketmq/rocketmq-c-s1/conf/broker.conf<<EOF
#端口（注意：broker启动后，会占用3个端口，默认是10911（供客户端连接）。分别在listenPort基础上-2（实现Master与Slave之间的数据同步）。+1（实现HA机制的监听端口）。
#如果单机上部署有个broker，除以不要端口冲突了
listenPort = 10950
#RocketMQ主目录
rocketmqHome = /usr/local/rocketmq/rocketmq-c-s1
#消息数据存放的根目录
storePathRootDir = /usr/local/rocketmq/rocketmq-c-s1/store
#commitlog保存目录
storePathCommitLog = /usr/local/rocketmq/rocketmq-c-s1/store/commitlog
#消费队列存储路径存储路径
storePathConsumerQueue = /usr/local/rocketmq/rocketmq-c-s1/store/consumequeue
#broker集群名称
brokerClusterName = Rocketmq01
#nameserver地址，多个以分号隔开
namesrvAddr=10.90.19.243:9876;10.90.19.245:9876;10.90.19.246:9876
#broker名称（每组主从节点使用相同的brokerName，方便查看）
brokerName = broker-c
#Broker对外提供服务地址
brokerIP1 = 10.90.19.246
#供slave同步消息的地址
brokerIP2= 10.90.19.246
#broker的id,0为主,非0为从
brokerId = 1
#删除文件时间点，默认凌晨4点。24小时制，单位小时
deleteWhen = 04
#文件保存小时数
fileReservedTime = 72
#SYNC_MASTER/ASYNC_MASTER/SLAVE 节点角色
brokerRole = SLAVE
#刷盘方式
flushDiskType = ASYNC_FLUSH
#是否允许Broker自动创建Topic
autoCreateTopicEnable = false
#是否允许 Broker 自动创建订阅组
autoCreateSubscriptionGroup = false
#linux开启epoll
useEpollNativeSelector = true
EOF

4.修改日志保存路径

sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-c-s1/logs/?' /usr/local/rocketmq/rocketmq-c-s1/conf/logback_broker.xml
sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-c-s1/logs/?' /usr/local/rocketmq/rocketmq-c-s1/conf/logback_namesrv.xml
sed -i 's?/usr/local/rocketmq/rocketmq-a-m/logs/?/usr/local/rocketmq/rocketmq-c-s1/logs/?' /usr/local/rocketmq/rocketmq-c-s1/conf/logback_tools.xml

5.启动broker-c 的c-slave1

nohup /usr/local/rocketmq/rocketmq-c-s1/bin/mqbroker -c /usr/local/rocketmq/rocketmq-c-s1/conf/broker.conf > /dev/null 2>&1 &
7）验证集群

在集群中任意一个节点的bin目录下执行如下命令：sh mqadmin clusterList -n 10.90.19.243:9876.

至此rocketmq '3主3从，3个nameserver’的集群已经搭建好了。集群信息如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-suW0Vuv9-1649844551370)(D:\Users\80338871\AppData\Roaming\Typora\typora-user-images\image-20220413165348138.png)]

”多主多从同步复制“集群模式

步骤同“多主多从异步复制模式”唯一的区别是在调整每个broker.conf中的如下两个配置：

  • 【master】brokerRole值改成SYNC_MASTER
  • 【所有broker】flushDiskType 改成SYNC_FLUSH
zpsimon
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ集群（2主2从）搭建
qq_35059264的博客
07-29 316
勿以浮沙筑高台 基础准备：准备2台170,171机子并且安装了rocketMQ. 1.更改hosts信息 vi /etc/hosts # nameserver 192.168.95.170 rocketmq-nameserver1 192.168.95.171 rocketmq-nameserver2 # broker 192.168.95.170 rocketmq-master1 192.168.95.170 rocketmq-slave2 192.168.95.171 rocketmq-master
两台电脑搭建RocketMQ 2master2slave-异步复制 集群
01-07
两台电脑搭建RocketMQ 2master2slave-异步复制 集群 每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下： 优点：即使磁盘损坏，消息丢失的...
【RocketMQ】详解如何搭建一个多主多从的RocketMQ集群
浩瀚宇宙的一粒尘埃
09-03 3657
下载二进制包 下载链接：RocketMQ官网 注：二进制包是编译好的，拿来可以直接用，如果不需要定制化，改动源码，可选择二进制包 机器准备 准备三台机器，每台机器需要安装好jdk，1.8以上版本； 集群使用交叉部署：三台机器，每台各自装一个nameserver，三个broker：一个master，两个其他master的slave； 目录结构： 机器1：namesever-1、master-a、b-slave1、c-slave1 机器2：namesever-2、master-b、a-slave1、c-sl
RocketMQ多Master多Slave模式部署
weixin_34342992的博客
09-12 290
每个 Master 配置一个 Slave，有多对Master-Slave，HA采用同步双写方式，主备都写成功，向应用返回成功。 优点：数据与服务都无单点，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高。缺点：性能比异步复制模式略低，大约低10%左右，发送单个消息的RT会略高。目前主宕机后，备机不能自动切换为主机，后续会支持自动切换功能。 ### 先启动 NameServer...
RocketMQ 主从复制原理深度解析
最新发布
m0_68459853的博客
05-28 409
1、主从复制包含元数据复制和消息数据复制两个部分；2、元数据复制​ Slave Broker 定时任务每隔 10 秒向 Master Broker 发送 RPC 请求，将元数据同步到缓存后，然后持久化到磁盘里；3、消息数据复制Master 启动监听指定端口Slave 启动 HaClient 服务，和 Master 创建 TCP 链接Slave 向 Master 上报存储进度Master 接收进度，消息文件中检索该偏移量后的所有消息，并传输给 Slave。
rocketmq集群搭建双主双从多主多从
ITzhongzi的博客
12-04 894
原理图解： 讲解： 图中每个nameserver和broker都搭建在不同的机器上，broker采用双主双从，一个主broker对应一个从broker，主broker往从broker复制一份数据，采用同步方式，即同步双写。当主broker往从broker上数据备份完成之后，采用异步刷盘策略，把主从 broker内存中的数据写入磁盘里。 优点 如图所示： 当nameserver1 服务挂掉之后，...
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3119
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
rocketmq4.7.1集群安装手册-双主双从，多主多从模式
10-09
rocketmq集群，部署架构选择双主双从，多主多从模式(异步复制) Broker角色，Master提供读写，Slave只支持读，Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行读取。双主双从，...
高可用 RocketMQ 集群搭建.doc
08-24
3. 多 Master 多 Slave 模式-异步复制：每个 Master 配置一个 Slave，有多对 Master-Slave，HA 采用异步复制方式，主备有短暂消息延迟（毫秒级）。这种模式的优点是即使磁盘损坏，消息丢失的非常少，且消息实时性...
php异步多线程swoole用法实例
12-18
Swoole还提供了异步文件读写和DNS查询功能，这些都能够在后台进行，避免了阻塞主流程，提高了程序的响应速度。 ### 7. 示例代码 以下是一个简单的Swoole应用示例，展示如何使用Swoole进行异步处理： ```php ...
浅析C#中异步和多线程的区别
01-19
C#中异步和多线程的区别是什么呢？异步和多线程两者都可以达到避免调用线程阻塞的目的，从而提高软件的可响应性。甚至有些时候我们就认为异步和多线程是等同的概念。但是，异步和多线程还是有一些区别的。而这些区别...
基于docker容器搭建rocketmq集群(3主三从)
学无止步的博客
02-10 4788
基于docker容器搭建rocketmq集群(3主三从) 一、安装前准备 1.1、服务器准备 本次集群搭建使用docker容器模拟服务器资源，因为要搭建三主三从集群，因此需要准备三个docker容器充当三台服务器资源。 本文中的容器使用搭建redis集群的三台容器，本次准备使用三台容器模拟中间件服务器，在三个容器中搭建三个中间件集群，本篇博客为第二个中间件—rocketmq。具体的容器准备(局域网搭建、ip分配、容器环境)见上篇博客基于docker容器搭建redis集群(3主三从)。 本次规划上做三主三从，
【分布式消息服务】——RocketMQ——基本原理
weixin_44275259的博客
07-26 306
RocketMQ——集群机制 NameServer集群 由于所有broker定时向NameServer注册信息，以及NameServer自带的心跳检测，所以NameServer不需要实现同步机制，全由broker集群主动参与所有集群注册相同的信息； Broker集群 每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer 单机模式 单机，一台宕机直接拜拜；如果消息还没未写入磁盘，重启会后丢失 主从配对 Broker与slave配对是通
rocketmq-linux环境多主多从集群配置与搭建
北冥有鱼的博客
04-13 698
一、下载安装 wget https://apache-mirror.rbc.ru/pub/apache/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip
RocketMQ 多主多从架构
weixin_45036829的博客
05-04 104
图片来源：From Alibaba to Apache: RocketMQ’s Past, Present, and Future相关视频：https://edu.csdn.net/course/detail/38515
RocketMQ集群搭建记录（三主三从）
wulitaotao96的博客
04-30 2638
一、方案目标： - 三主三从 - 异步同步消息 - 异步刷盘 二、机器信息： 共三台机器，每台上分别布有一台主从。 如下： 机器1 broker-a broker-b-s 机器2 broker-b broker-c-s 机器3 broker-c broker-a-s 三、搭建步骤： 1 上传解压，新建目录 上传压缩包至 /tmp，解压到/usr/local unzip 压缩包名(rocketXXXX)...
关于使用RocketMQ搭建多Master多Slave模式（同步）集群时遇到的问题
Gefangenes的博客
07-29 335
3）使用sudo进行broker的启动（每次启动一个broker利用上面的方法检查broker是否启动成功是一个非常有效率而且能够定位到启动的错误是什么的好习惯。在启动broker的过程中除非你设置了环境变量，否则需要时刻注意你的终端中所处的文件位置，因为如果文件位置不对，你也无法在任何文件地点启动broker。2.1）使用WSL的同志们会发现，不需要sudo，不需要切换root用户，直接使用broker启动命令，然后用jps命令进行线程ID的查询，broker就成功启动了！因此，上述问题也就不复存在了。
rocketmq(V4_5_0)同步双主双备集群部署
电磁阻尼
05-16 501
没有创新记录自己搭建过程遇到的问题 环境：四个节点 192.168.25.10、192.168.25.13、192.168.25.14、192.168.25.15 namesrv: 192.168.25.10、192.168.25.13同时他们也是master节点 broker : 192.168.25.10、192.168.25.13、192.168.25.14、192.168.25.15 注...
RocketMQ各种集群模式介绍
Leon_Jinhai_Sun的博客
06-13 1307
集群模式 1）单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 2）多Master模式 一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下： 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
rocketmq多主集群
07-28
RocketMQ 支持多主集群的部署方式，可以提供更高的可用性和性能。在多主集群中，每个主节点都是一个独立的 RocketMQ 集群，各主节点之间通过数据复制实现数据同步。 以下是部署 RocketMQ 多主集群的一般步骤： 1. 部署多个独立的 RocketMQ 主节点：每个主节点都是一个独立的 RocketMQ 集群，包含自己的 NameServer、Broker、和消息存储。 2. 配置 NameServer：每个主节点都需要配置自己的 NameServer，用于管理集群中的 Broker 节点，并提供服务发现功能。 3. 配置 Broker：每个主节点都需要配置自己的 Broker，包括配置文件中的监听端口、存储路径、集群名称等。 4. 配置消息复制：通过配置文件指定消息复制的方式，可以选择同步复制或异步复制。同步复制会等待所有副本都写入成功才返回响应，而异步复制则不会等待副本写入成功。 5. 配置消费者和生产者：在多主集群中，消费者和生产者可以连接到任意一个主节点来发送和接收消息。 总结来说，RocketMQ 多主集群的部署方式可以提供更高的可用性和性能。每个主节点都是一个独立的集群，通过配置消息复制实现数据同步，消费者和生产者可以连接到任意一个主节点进行消息的发送和接收。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值