RocketMQ 4.7.1 基于Dledger部署容灾集群和组扩展

最新推荐文章于 2024-06-24 23:30:25 发布
最新推荐文章于 2024-06-24 23:30:25 发布
阅读量1.4k 收藏
点赞数
分类专栏： RocketMQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zwjzqqb/article/details/107608704
版权

简单说明：

  • RocketMQ 在4.5版本之后可以基于Dledger部署自动容灾切换的RocketMQ集群
  • 本博文检录集群部署和组扩展过程，包括2个NameServer实例和两组3实例的BrokerServer组
  • 集群主机列表：
        IP        主机名  集群角色   资源  系统版本
  -------------- ------ --------- ----- -------
  192.168.77.101  vm1   ns1  bs11 2U/4G CentOS6
  192.168.77.102  vm2   bs12 bs13 2U/4G CentOS7
  192.168.77.103  vm3   ns2  bs21 2U/4G CentOS7
  192.168.77.104  vm4   bs22 bs23 2U/4G CentOS6

主机部署：

  • 依据《CentOS6实验机模板搭建部署》和《CentOS7实验机模板搭建部署》部署四台虚拟机
  • vm1和vm4配置主机名和hosts解析
hostname vm1
# hostname vm4
echo "$(grep -E '127|::1' /etc/hosts)">/etc/hosts
cat >>/etc/hosts<<EOF
192.168.77.101 vm1 ns1  bs11
192.168.77.102 vm2 bs12 bs13
192.168.77.103 vm3 ns2  bs21
192.168.77.104 vm4 bs22 bs23
EOF
sed -i "s/^HOSTNAME.*$/HOSTNAME=$(hostname)/g" /etc/sysconfig/network
  • vm2和vm3配置主机名和hosts解析
HOSTNAME=vm2
# HOSTNAME=vm3
hostnamectl set-hostname "$HOSTNAME"
echo "$HOSTNAME">/etc/hostname
echo "$(grep -E '127|::1' /etc/hosts)">/etc/hosts
cat >>/etc/hosts<<EOF
192.168.77.101 vm1 ns1  bs11
192.168.77.102 vm2 bs12 bs13
192.168.77.103 vm3 ns2  bs21
192.168.77.104 vm4 bs22 bs23
EOF

四台主机部署安装jdk和rocketmq

# 安装配置jdk1.8
mkdir -pv /usr/local/java
cd /usr/local/java
tar -xf /tmp/jdk-8u241-linux-x64.tar.gz
chown -R root: .
cd /usr/local
ln -s java/jdk1.8.0_241 jdk
echo 'export JAVA_HOME=/usr/local/jdk'>>/etc/profile
echo 'export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib'>>/etc/profile
echo 'export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH'>>/etc/profile
source /etc/profile
java -version

# 安装配置RocketMQ
cd /tmp
wget https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip
mkdir -pv /usr/local/RocketMQ
cd /usr/local/RocketMQ
unzip /tmp/rocketmq-all-4.7.1-bin-release.zip
cd /usr/local/
ln -s RocketMQ/rocketmq-all-4.7.1-bin-release rocketmq
echo 'export ROCKETMQ_HOME=/usr/local/rocketmq'>>/etc/profile
echo 'export PATH=$PATH:$ROCKETMQ_HOME/bin'>>/etc/profile
source /etc/profile

mkdir -pv /data/rocketmq/store/commitlog
mkdir -pv /data/logs
cd $ROCKETMQ_HOME/conf
sed -i 's#${user.home}#/data#g' *.xml
cd $ROCKETMQ_HOME/bin
sed -i 's/-Xms4g/-Xms1g/g' runserver.sh
sed -i 's/-Xmx4g/-Xmx1g/g' runserver.sh
sed -i 's/-Xms8g/-Xms1g/g' runbroker.sh
sed -i 's/-Xmx8g/-Xmx1g/g' runbroker.sh

vm1和vm3配置启动NameServer

cd $ROCKETMQ_HOME/bin
sh mqnamesrv &
# sh mqshutdown namesrv
jps -m
netstat -tupln|grep 9876

echo '# RocketMQ 4.7.1 NameServer start and stop'>>/etc/rc.local
echo 'source /etc/profile;sh ${ROCKETMQ_HOME}/bin/mqnamesrv &'>>/etc/rc.local
echo '# source /etc/profile;sh ${ROCKETMQ_HOME}/bin/mqshutdown namesrv'>>/etc/rc.local

vm1和vm2配置启动第一个BrokerServer组

  • vm1 配置 bs11
Role=bs11
RoleId=n0
GroupName=Group1
BrokerPort=31911
cd $ROCKETMQ_HOME
cat >conf/dledger/Vincent-Group1-${Role}.conf<<EOF
brokerClusterName = Vincent
brokerName=${GroupName}
listenPort=${BrokerPort}
namesrvAddr=ns1:9876;ns2:9876
storePathRootDir=/data/rocketmq/${Role}
storePathCommitLog=/data/rocketmq/${Role}/commitlog
enableDLegerCommitLog=true
dLegerGroup=${GroupName}
dLegerPeers=n0-bs11:40911;n1-bs12:40912;n2-bs13:40913
dLegerSelfId=${RoleId}
sendMessageThreadPoolNums=2
EOF
sh mqbroker -c$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &
# sh mqshutdown broker
jps -m
netstat -tupln|grep -E '309|409'

echo '# RocketMQ 4.7.1 BrokerServer start and stop'>>/etc/rc.local
echo "source /etc/profile;sh \${ROCKETMQ_HOME}/bin/mqbroker -c\$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &">>/etc/rc.local
echo '# source /etc/profile;sh ${ROCKETMQ_HOME}/bin/mqshutdown broker'>>/etc/rc.local
  • vm2 配置 bs12
Role=bs12
RoleId=n1
GroupName=Group1
BrokerPort=31912
cd $ROCKETMQ_HOME
cat >conf/dledger/Vincent-Group1-${Role}.conf<<EOF
brokerClusterName = Vincent
brokerName=${GroupName}
listenPort=${BrokerPort}
namesrvAddr=ns1:9876;ns2:9876
storePathRootDir=/data/rocketmq/${Role}
storePathCommitLog=/data/rocketmq/${Role}/commitlog
enableDLegerCommitLog=true
dLegerGroup=${GroupName}
dLegerPeers=n0-bs11:40911;n1-bs12:40912;n2-bs13:40913
dLegerSelfId=${RoleId}
sendMessageThreadPoolNums=2
EOF
sh mqbroker -c$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &
# sh mqshutdown broker
jps -m
netstat -tupln|grep -E '309|409'

echo '# RocketMQ 4.7.1 BrokerServer start and stop'>>/etc/rc.local
echo "source /etc/profile;sh \${ROCKETMQ_HOME}/bin/mqbroker -c\$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &">>/etc/rc.local
echo '# source /etc/profile;sh ${ROCKETMQ_HOME}/bin/mqshutdown broker'>>/etc/rc.local
  • vm2 配置 bs13
Role=bs13
RoleId=n2
GroupName=Group1
BrokerPort=31913
cd $ROCKETMQ_HOME
cat >conf/dledger/Vincent-Group1-${Role}.conf<<EOF
brokerClusterName = Vincent
brokerName=${GroupName}
listenPort=${BrokerPort}
namesrvAddr=ns1:9876;ns2:9876
storePathRootDir=/data/rocketmq/${Role}
storePathCommitLog=/data/rocketmq/${Role}/commitlog
enableDLegerCommitLog=true
dLegerGroup=${GroupName}
dLegerPeers=n0-bs11:40911;n1-bs12:40912;n2-bs13:40913
dLegerSelfId=${RoleId}
sendMessageThreadPoolNums=2
EOF
sh mqbroker -c$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &
# sh mqshutdown broker
jps -m
netstat -tupln|grep -E '309|409'

echo '# RocketMQ 4.7.1 BrokerServer start and stop'>>/etc/rc.local
echo "source /etc/profile;sh \${ROCKETMQ_HOME}/bin/mqbroker -c\$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &">>/etc/rc.local
echo '# source /etc/profile;sh ${ROCKETMQ_HOME}/bin/mqshutdown broker'>>/etc/rc.local
  • 任意主机验证配置
cd $ROCKETMQ_HOME
sh bin/mqadmin clusterList -n ns1:9876
sh bin/mqadmin clusterList -n ns2:9876

在这里插入图片描述
在这里插入图片描述

vm3和vm4配置启动第二个BrokerServer组，即组扩展

  • vm3 配置 bs21
Role=bs21
RoleId=n0
GroupName=Group2
BrokerPort=31911
cd $ROCKETMQ_HOME
cat >conf/dledger/Vincent-Group1-${Role}.conf<<EOF
brokerClusterName = Vincent
brokerName=${GroupName}
listenPort=${BrokerPort}
namesrvAddr=ns1:9876;ns2:9876
storePathRootDir=/data/rocketmq/${Role}
storePathCommitLog=/data/rocketmq/${Role}/commitlog
enableDLegerCommitLog=true
dLegerGroup=${GroupName}
dLegerPeers=n0-bs21:40911;n1-bs22:40912;n2-bs23:40913
dLegerSelfId=${RoleId}
sendMessageThreadPoolNums=2
EOF
sh mqbroker -c$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &
# sh mqshutdown broker
jps -m
netstat -tupln|grep -E '309|409'

echo '# RocketMQ 4.7.1 BrokerServer start and stop'>>/etc/rc.local
echo "source /etc/profile;sh \${ROCKETMQ_HOME}/bin/mqbroker -c\$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &">>/etc/rc.local
echo '# source /etc/profile;sh ${ROCKETMQ_HOME}/bin/mqshutdown broker'>>/etc/rc.local
  • vm4 配置 bs12
Role=bs22
RoleId=n1
GroupName=Group2
BrokerPort=31912
cd $ROCKETMQ_HOME
cat >conf/dledger/Vincent-Group1-${Role}.conf<<EOF
brokerClusterName = Vincent
brokerName=${GroupName}
listenPort=${BrokerPort}
namesrvAddr=ns1:9876;ns2:9876
storePathRootDir=/data/rocketmq/${Role}
storePathCommitLog=/data/rocketmq/${Role}/commitlog
enableDLegerCommitLog=true
dLegerGroup=${GroupName}
dLegerPeers=n0-bs21:40911;n1-bs22:40912;n2-bs23:40913
dLegerSelfId=${RoleId}
sendMessageThreadPoolNums=2
EOF
sh mqbroker -c$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &
# sh mqshutdown broker
jps -m
netstat -tupln|grep -E '309|409'

echo '# RocketMQ 4.7.1 BrokerServer start and stop'>>/etc/rc.local
echo "source /etc/profile;sh \${ROCKETMQ_HOME}/bin/mqbroker -c\$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &">>/etc/rc.local
echo '# source /etc/profile;sh ${ROCKETMQ_HOME}/bin/mqshutdown broker'>>/etc/rc.local
  • vm4 配置 bs13
Role=bs23
RoleId=n2
GroupName=Group2
BrokerPort=31913
cd $ROCKETMQ_HOME
cat >conf/dledger/Vincent-Group1-${Role}.conf<<EOF
brokerClusterName = Vincent
brokerName=${GroupName}
listenPort=${BrokerPort}
namesrvAddr=ns1:9876;ns2:9876
storePathRootDir=/data/rocketmq/${Role}
storePathCommitLog=/data/rocketmq/${Role}/commitlog
enableDLegerCommitLog=true
dLegerGroup=${GroupName}
dLegerPeers=n0-bs21:40911;n1-bs22:40912;n2-bs23:40913
dLegerSelfId=${RoleId}
sendMessageThreadPoolNums=2
EOF
sh mqbroker -c$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &
# sh mqshutdown broker
jps -m
netstat -tupln|grep -E '309|409'

echo '# RocketMQ 4.7.1 BrokerServer start and stop'>>/etc/rc.local
echo "source /etc/profile;sh \${ROCKETMQ_HOME}/bin/mqbroker -c\$ROCKETMQ_HOME/conf/dledger/Vincent-Group1-${Role}.conf &">>/etc/rc.local
echo '# source /etc/profile;sh ${ROCKETMQ_HOME}/bin/mqshutdown broker'>>/etc/rc.local
  • 任意主机验证配置
cd $ROCKETMQ_HOME
sh bin/mqadmin clusterList -n ns1:9876
sh bin/mqadmin clusterList -n ns2:9876

在这里插入图片描述
在这里插入图片描述
[TOC]

VincentQB
关注
专栏目录
Dledger部署RocketMQ高可用集群（9节点集群）
Java程序员廖志伟
02-27 685
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
window rocketmq4.7.1 安装
chris
05-09 412
安装步骤 [1] 下载 http://rocketmq.apache.org/dowloading/releases/ [2] 解压安装 注：解压目录不能由空格 例如：E:\Program Files 这样就不行 [3] 配置环境 配置 ROCKETMQ_HOME E:\software\rocketmq [4] 启动 修改runbroker.cmd文件 %CLASSPATH%" 修改为 “%CLASSPATH%”" # 定位目录 cd E:\software\rocketmq\bin # 启动 m
RocketMQ 升级到主从切换(DLedger、多副本)实战，阿里大牛把「服务雪崩」玩到了极致
2401_83973995的博客
04-01 972
毕竟工作也这么久了 ，除了途虎一轮，也七七八八面试了不少大厂，像阿里、饿了么、美团、滴滴这些面试过程就不一一写在这篇文章上了。我会整理一份详细的面试过程及大家想知道的一些问题细节毕竟工作也这么久了 ，除了途虎一轮，也七七八八面试了不少大厂，像阿里、饿了么、美团、滴滴这些面试过程就不一一写在这篇文章上了。我会整理一份详细的面试过程及大家想知道的一些问题细节。
rocketmq 如何保证高可用_RocketMq容灾、高可用方案
weixin_28848833的博客
12-28 883
一、实现分布式集群多副本的三种方式1.1 M/S模式即Master/Slaver模式。该模式在过去使用的最多，RocketMq之前也是使用这样的主从模式来实现的。主从模式分为同步模式和异步模式，区别是在同步模式下只有主从复制完毕才会返回给客户端；而在异步模式中，主从的复制是异步的，不用等待即可返回。同步模式同步模式特点：高延迟、低吞吐、无数据丢失(发生故障时)、自动故障转移、强一致性异步模式异步模...
Apache RocketMQ 4.5.0 发布，实现自动容灾切换
cpongo5
04-10 397
开发四年只会写业务代码，分布式高并发都不会还做程序员？ >>> 近日，分布式消息开源项目Apach...
python进行数组合并的方法
公众号-测试生财
12-14 3086
python的数组合并在算法题中用到特别多，这里简单总结一下： 假设有a1和a2两个数组： a1=[1,2,3] a2=[4,5,6] 合并方式 1. 直接相加 #合并后赋值给新数组a3 a3 = a1 + a2 2. extend #调用此方法，a1会扩展成a1和a2的内容 a1.extend(a2) 3. 列表表达式 #先生成新的二维数组 a3 = [a1, a2] #列表推导形成新的数组 a4 = [ y for a in a3 for y in a ] 合并性能 下面.
【RocketMQ】RocketMQ自动容灾切换DLedger集群实践
浩瀚宇宙的一粒尘埃
04-30 1862
文章目录DLedger配置介绍新建DLedger集群机器规划BrokernameserverconsoleBroker配置broker-abroker-a-s1broker-a-s2broker-bbroker-b-s1broker-b-s2broker-cbroker-c-s1broker-c-s2验证旧集群升级杀掉旧的 Broker检查旧的 Commitlog修改配置重新启动 BrokerTips 本文主要演示如何搭建一个多主多从的自动容灾切换的RocketMQ集群，以及如何把现有普通的Master/S
rocketmq4.7.1集群安装手册-双主双从，多主多从模式
10-09
rocketmq集群，部署架构选择双主双从，多主多从模式(异步复制) Broker角色，Master提供读写，Slave只支持读，Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行读取。双主双从，...
rocketmq4.7.1以及console
11-25
在RocketMQ-all-4.7.1-bin-release压缩包中，包含了RocketMQ服务器端的二进制文件、配置文件以及启动脚本，用户可以快速部署和启动RocketMQ服务。同时，这个版本还可能包含RocketMQ Console的源码或二进制文件，用户...
rocketmq-4.7.1Java 项目完整jar集合
12-04
在这个"rocketmq-4.7.1Java 项目完整jar集合"中，我们看到的是一个包含了所有必要的库文件，以便于开发者在Java 1.8环境下快速搭建和运行RocketMQ项目。 首先，`jar`文件是Java档案文件，它是Java平台的标准打包...
RocketMQ集群部署方案（DLedger）
weixin_37838106的博客
01-29 5118
RocketMQ集群部署方案（DLedger） 一、基本配置 1、准备三台虚拟机，root密码 root ;IP地址： 192.168.xxx.xxx worker1 192.168.xxx.xxx worker2 192.168.xxx.xxx worker3 并在对应的机器的/etc/hosts文件中设置对应的ip和机器名映射 2、每台机器上创建用户mq并设置密码 useradd mq passwd mq 密码输入：Anji@1024 3、系统配置 1）免密登录，切换mq用户，在worker1
Dledger-RocketMQ 基于Raft协议的commitlog存储库
java开发郭靖
02-27 2154
1.2 Master/Slave 多副本最早的是Master/Slave架构，即简单地用Slave去同步Master的数据，RocketMQ最早也是这种实现。分为同步模式（Sync Mode）和异步模式（Async Mode），区别就是Master是否等数据同步到Slave之后再返回Client。这两种方式目前在RocketMQ社区广泛使用的版本中都有支持，原理图如下图1所示。 图1 Maste...
Dledger模式rocketMq高可用集群
comezhouyi的博客
08-10 383
docker-compose搭建dledger模式rocketmq高可用集群
RocketMQ--Dledger集群搭建
L2111533547的博客
07-01 4852
引言：一直以来，在多地多中心的消息发送场景下，如何保障数据的完整性和一致性是一个技术难点。Dledger 作为一个轻量级的 Java Library，它的作用就是将 Raft 有关于算法方面的内容全部抽象掉，开发人员只需要关心业务即可在 RocketMQ 4.5 版本之前，RocketMQ 只有 Master/Slave 一种部署方式，一组 broker 中有一个 Master ，有零到多个 Slave，Slave 通过同步复制或异步复制的方式去同步 Master 数据。Master/Slave 部署模式，
全站最硬核 百万字强肝RocketMq源码 火热更新中~（七十九） DLeger
自救 唯有自强
01-29 1154
DLedger 应用场景 DLedger 其中一个应用就是在分布式消息系统中，RocketMQ 4.5 版本发布后，可以采用 RocketMQ on DLedger 方式进行部署。DLedger commitlog 代替了原来的 commitlog，使得 commitlog 拥有了选举复制能力，然后通过角色透传的方式，raft 角色透传给外部 broker 角色，leader 对应原来的 master，follower 和 candidate 对应原来的 slave。 因此 RocketMQ 的 br.
源码分析 RocketMQ DLedger 多副本即主从切换实现原理
notOnlyRush的博客
01-07 1140
原文：https://juejin.im/post/5db837186fb9a0204c5c36bb DLedger 基于 raft 协议，故天然支持主从切换，即主节点(Leader)发生故障，会重新触发选主，在集群内再选举出新的主节点。 RocketMQ 中主从同步，从节点不仅会从主节点同步数据，也会同步元数据，包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信...
RocketMQ - Dledger模式的搭建
qq_32062699的博客
11-11 2679
1.准备环境 本文主要是以RocketMQ-4.8.0进行的搭建（RocketMq好像是从4.5.0之后才支持Dledger模式的，Dledger模式：当master宕机不可用的时候，slave会进行选举，然后选择一个slave作为master继续提供服务）下载地址：http://rocketmq.apache.org/dowloading/releases/ 在需要部署的机器上安装，配置jdk和引入rocketmq的环境 准备三台服务器（192.168.1.21 ， 192.168.1.23 ， 19
手把手搭建RocketMQ双主双从同步集群&&Dledger搭建
【原】编程界的小学生
07-20 1279
编程界的小学生一、环境准备1、补充2、机器二、开始搭建1、说明2、古老的集群搭建2.1、准备2.2、Master12.3、Slave12.4、Master22.5、Slave22.6、总结2.7、启动2.7.1、启动namesrv2.7.2、启动broker2.8、验证2.9、问题3、Dledger搭建3.1、说明3.2、搭建3.2.1、官方搭建手册3.2.2、准备3.2.3、配置3.2.4、配置说明3.2.5、启动3.2.6、验证3.3、补充三、常见问题1、Lock failed,MQ already s
深度解析RocketMq源码-高可用存储组件（二）Dledger框架概览
最新发布
zhifou123456的博客
06-24 1196
本文主要讲的是Dledger框架的大概组成部分，已经每个组件的使用，后面会详细介绍Dledger的投票和日志同步流程。
RocketMQ 4.7.1集群部署：双主双从与多主多从异步复制详解
总结来说，选择双主双从模式（异步复制）作为RocketMQ集群的部署策略，能够满足大部分场景的需求，兼顾了可用性和实时性。在实际部署过程中，需要根据业务需求和服务器资源来配置具体的服务器角色和磁盘策略。同时，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值