RocketMQ 4.7同步复制，两主两从，ACL认证，console搭建

最新推荐文章于 2024-06-11 17:51:16 发布
最新推荐文章于 2024-06-11 17:51:16 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： 运维 文章标签： linux mq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangpfly/article/details/106024540
版权

RocketMQ 4.7同步复制，两主两从，ACL认证，console搭建

1. 配置环境

主机IP服务
192.168.100.122a-m
192.168.100.123a-s
192.168.100.124namesrv console
192.168.100.125b-m
192.168.100.126b-s
192.168.100.127namesrv

系统环境：CentosOS 7.6

2. 开始配置

java环境准备

yum -y install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel

2.1 下载配置文件

在所有主机上都下载好rocketmq的二进制文件

wget https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.7.0/rocketmq-all-4.7.0-bin-release.zip -O /usr/local/rocketmq-all-4.7.0-bin-release.zip
cd /usr/local
unzip rocketmq-all-4.7.0-bin-release.zip
ln -sv rocketmq-all-4.7.0-bin-release rocketmq
cd /usr/local/rocketmq/conf/2m-2s-sync
useradd -s /sbin/nologin rocketmq
chown -R rocketmq.rocketmq /usr/local/rocketmq/*

2.2 broker配置文件

2.2.1 a-m

在192.168.100.122上修改配置文件
vim /usr/local/rocketmq/conf/2m-2s-sync/broker-a.properties

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48

#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER

# acl权限
aclEnable=true

#刷盘方式
#- ASYNC_FLUSH  异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH

namesrvAddr=192.168.100.124:9876;192.168.100.127:9876;
2.2.2 a-s

在192.168.100.123上修改配置文件
vim /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48

#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE

# acl权限
aclEnable=true

#刷盘方式
#- ASYNC_FLUSH  异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH

namesrvAddr=192.168.100.124:9876;192.168.100.127:9876;
2.2.3 b-m

在192.168.100.125上修改配置文件
vim /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48

#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER

# acl权限
aclEnable=true

#刷盘方式
#- ASYNC_FLUSH  异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH

namesrvAddr=192.168.100.124:9876;192.168.100.127:9876;
2.2.4 b-s

在192.168.100.126上修改配置文件
vim /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=1
deleteWhen=04
fileReservedTime=48

#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE

# acl权限
aclEnable=true

#刷盘方式
#- ASYNC_FLUSH  异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH

namesrvAddr=192.168.100.124:9876;192.168.100.127:9876;
2.2.5 ACL规则配置

注意：配置rocketmq支持acl规则，需要在broker配置文件里开启

# acl权限
aclEnable=true

acl配置文件：/usr/local/rocketmq/conf/plain_acl.yml
下面是一个简单的示例

globalWhiteRemoteAddresses: # 全局白名单地址
- 192.168.100.*
- 10.1.32.*

accounts:
- accessKey: administrator
  secretKey: 8bd8cee20c7b7017975276cebff0b5f6fcf36f6a7635c37683fed5916ff51039
  whiteRemoteAddress:   # 白名单地址
  admin: true  # 是否管理员用户

详细的配置规则可以参考：
https://blog.csdn.net/prestigeding/article/details/94317946
https://my.oschina.net/mingxungu/blog/3083998
https://www.jianshu.com/p/7c9b20518800

2.2.6 java服务启动参数修改

broker服务启动参数在文件/usr/local/rocketmq/bin/runbroker.sh中，可以修改jvm相关启动参数

2.3 namserver

nameserver不需要特殊配置

2.4 console

apache提供一个开源的扩展项目: https://github.com/apache/rocketmq-externals 里面包含一个子项目rocketmq-console,配置下，打个包就可以用了。把项目clone到有maven3以上版本的linux主机中

cd /home/rocketmq-externals-master/rocketmq-console/src/main/resources
vim application.properties  # 编辑主配置文件
# 主要是下面这两行
--
rocketmq.config.namesrvAddr=192.168.100.124:9876;192.168.100.127:9876  # nameserver的地址
rocketmq.config.loginRequired=true # 开启控制台认证功能
--
编辑完保存退出

vim  users.properties  # 配置控制台认证文件
--
admin=admin,1  # 管理员用户
user1=user1  # 普通用户
--
编辑完保存退出

# 下面执行maven打包
cd /home/rocketmq-externals-master/rocketmq-console
mvn clean package -Dmaven.test.skip=true

# 执行完打包程序，找到jar包
cd /home/rocketmq-externals-master/rocketmq-console/target
sz rocketmq-console-ng-1.0.1.jar
jar包上传到192.168.100.124的/usr/local/rocketmq/目录下

console配置文件详细配置说明，console控制台使用参考
https://github.com/apache/rocketmq-externals/blob/master/rocketmq-console/doc/1_0_0/UserGuide_CN.md

3. 配置rocketmq服务

配置rocketmq服务，设置开机启动

3.1 a-m

192.168.100.122上配置

vim /etc/systemd/system/rocketmq-brokerA-master.service
---
[Unit]
Description=RocketMQ is an open source distributed messaging and streaming data plantform
After=network.target

[Service]
Type=simple
WorkingDirectory=/usr/local/rocketmq/
ExecStart=/usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a.properties
ExecStop=/bin/kill $MAINPID
User=rocketmq
Group=rocketmq

[Install]
WantedBy=multi-user.target
---

systemctl enable rocketmq-brokerA-master.service  # 开机启动

3.2 a-s

192.168.100.123上配置

vim /etc/systemd/system/rocketmq-brokerA-slave.service
---
[Unit]
Description=RocketMQ is an open source distributed messaging and streaming data plantform
After=network.target

[Service]
Type=simple
WorkingDirectory=/usr/local/rocketmq/
ExecStart=/usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties
ExecStop=/bin/kill $MAINPID
User=rocketmq
Group=rocketmq

[Install]
WantedBy=multi-user.target
You have new mail in /var/spool/mail/root
---

systemctl enable rocketmq-brokerA-slave.service

3.3 b-m

192.168.100.125上配置

vim /etc/systemd/system/rocketmq-brokerB-master.service
---
[Unit]
Description=RocketMQ is an open source distributed messaging and streaming data plantform
After=network.target

[Service]
Type=simple
WorkingDirectory=/usr/local/rocketmq/
ExecStart=/usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties
ExecStop=/bin/kill $MAINPID
User=rocketmq
Group=rocketmq

[Install]
WantedBy=multi-user.target
---

systemctl enable rocketmq-brokerB-master.service

3.4 b-s

192.168.100.126上配置

vim /etc/systemd/system/rocketmq-brokerB-slave.service 
---
[Unit]
Description=RocketMQ is an open source distributed messaging and streaming data plantform
After=network.target

[Service]
Type=simple
WorkingDirectory=/usr/local/rocketmq/
ExecStart=/usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties
ExecStop=/bin/kill $MAINPID
User=rocketmq
Group=rocketmq

[Install]
WantedBy=multi-user.target
---
systemctl enable rocketmq-brokerB-slave.service

3.5 nameserver

分别在192.168.100.124、192.168.100.127上配置

vim /etc/systemd/system/rocketmq-namesrv.service
[Unit]
Description=RocketMQ is an open source distributed messaging and streaming data plantform
After=network.target

[Service]
Type=simple
WorkingDirectory=/usr/local/rocketmq/
ExecStart=/usr/local/rocketmq/bin/mqnamesrv
ExecStop=/bin/kill 
User=rocketmq
Group=rocketmq

[Install]
WantedBy=multi-user.target
You have new mail in /var/spool/mail/root

systemctl enable rocketmq-namesrv

3.6 console

192.168.100.124上配置

vim /etc/systemd/system/rocketmq-console.service
---
[Unit]
Description=RocketMQ is an open source distributed messaging and streaming data plantform
After=network.target

[Service]
Type=simple
WorkingDirectory=/usr/local/rocketmq/
ExecStart=/usr/bin/java -jar /usr/local/rocketmq/rocketmq-console-ng-1.0.1.jar
ExecStop=/bin/kill 
User=rocketmq
Group=rocketmq

[Install]
WantedBy=multi-user.target
---
systemctl enable rocketmq-console

4. 服务启动

4.1 先启动nameserver console

192.168.100.124

systemctl start rocketmq-console rocketmq-namesrv
systemctl status rocketmq-console rocketmq-namesrv

192.168.100.127

systemctl start rocketmq-namesrv
systemctl status rocketmq-namesrv

4.2 启动broker

192.168.100.122

systemctl start rocketmq-brokerA-master.service
systemctl status rocketmq-brokerA-master.service

192.168.100.123

systemctl start rocketmq-brokerA-slave.service
systemctl status rocketmq-brokerA-slave.service

192.168.100.125

systemctl start rocketmq-brokerB-master.service
systemctl status rocketmq-brokerB-master.service

192.168.100.126

systemctl start rocketmq-brokerB-slave.service
systemctl status rocketmq-brokerB-slave.service

4.3 登录console

确认上面所有的nameserver，console，broker服务全部正常启动后，登录控制台
控制台登录地址：192.168.100.124:8080
在这里插入图片描述
在这里插入图片描述
注意一点，如果要修改console的账号配置文件，需要先创建
在console服务所在的主机/tmp/rocketmq-console/data，创建一个用户认证文件
cd /tmp/rocketmq-console/data
touch users.properties
chown rocketmq.rocketmq users.properties
这个文件此时是空文件，需要加入用户认证信息，原来在mvn打包时的认证信息已经没用了，需要重新配置。

5. 结束

OK，这样就完全配置完成了。
ACL配置需要根据具体使用情况进行配置。

参考：
https://blog.csdn.net/qq_34125999/article/details/99711503
https://blog.csdn.net/weixin_40533111/article/details/84451219

zhangpfly
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
rocketmq-console控制台已增加ACL鉴权和配置控制台登录验证
02-24
1已增加ACL鉴权 2配置控制台登录验证
rocketmq-console已封装ACL
02-28
1支持开启控制台登录验证 2支持ACL 3支持docker部署
扩展知识：RocketMQ 如何开启 ACL 验证
最新发布
超超IT的博客
06-11 914
RocketMQ 在 4.4.0 版本开始支持 ACL 功能，ACL 验证的主要作用就是保证消息的安全性，实现权限控制功能，比如控制可以发送和订阅消息的群体，如某些主题只能被订阅，某些主题只有指定的IP，或者只有携带账号密码才可以订阅和发布等。对于第二个账户rocketmq2，由于设置了admin: true，所以它将拥有对所有资源和主题的访问权限，无论是否在topicPerms或groupPerms中明确指定了权限。同时，它的IP白名单被限制为192.168.1.*。
rocketmq console
12-05
1.运行环境：JDK1.7 2.运行命令：java -jar rocketmq-console-ng-1.0.0.jar --server.port=12581 --rocketmq.config.namesrvAddr=127.0.0.1:9876 3.启动后访问：http://127.0.0.1:12581/ 4.参考博客地址：https://blog.csdn.net/lai1245199086/article/details/84826353
RocketMQ 的双主双从集群搭建
qq_40230026的博客
02-15 3020
文章目录1：介绍2：准备2.1 准备虚拟机2.2 修改虚拟机的ip地址 1：介绍 1：本次搭建集群采用异步复制，主备有短暂消息延迟，毫秒级 2：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从 Slave消费，此过程对应用透明。不需要人工干预。 3：Master 宕机，磁盘损坏情况，会丢失少量消息。这个是 rocket 3.5 之前都存在的，3.6之后可以支持主备切换，这个我们下次搭建。 2：准备 准备了 4台虚拟机，IP 地址准备设置成 192.168.1
RocketMQ之console监控平台使用详解(三)
weixin_33705053的博客
08-07 2852
以前看别人文章时，经常说文章写一半因为某某原因重新写。今天我也碰到了，上午写了三分之一，电脑锁屏，下午过来直接写文章的软件退出了。 简直日了狗。吸取教训。 一、序 现在网上“同质性”的技术文章太多了，本来想了解下rocketmq-console监控平台的文档使用，不知道是搜索姿势有问题还是没这需求，找到的全是rocketmq-console的部署安装。测试了很遍，结合理解，差不都搞懂了很多关于...
rocketmq4.7_console1.0.1.zip
06-26
Rocketmq 4.7, 管理界面 Rocket Console 1.0.1 Rocketmq 4.7 二进制包 https://gitee.com/mirrors/RocketMQ-Externals 项目中的Rocketmq管理界面打包的jar文件
rocketmq4.7.rar
05-20
RocketMQ的4.7版本可能包含了一些新特性、优化和修复，例如提升性能、增强稳定性、优化API等。具体变更可通过阅读官方发布的Release Note获取。对于开发和运维人员来说，了解和掌握RocketMQ的核心概念和使用技巧，能...
rocketmq-all-4.7.1-source-release.zip
04-25
rocketmq-all-4.7.1-source-release.zip 源码rocketmq-all-4.7.1-source-release.zip 源码rocketmq-all-4.7.1-source-release.zip 源码rocketmq-all-4.7.1-source-release.zip 源码rocketmq-all-4.7.1-source-...
最新版windows rocketmq-all-4.7.0-bin-release.zip
03-26
RocketMQ是阿里巴巴开源的一款分布式消息中间件，广泛应用于大规模分布式系统中的消息传递。在Windows环境下部署RocketMQ ...理解并掌握这些知识点，能够让你在分布式系统中有效地利用RocketMQ实现消息传递和数据同步。
全面解剖RocketMQ和项目实战-day4-part4.7z
06-25
在这个“全面解剖RocketMQ和项目实战-day4-part4.7z”资料包中，包含了一系列视频教程，详细讲解了RocketMQ的关键特性和工作流程，下面将对这些知识点进行深入解析。 1. **实时更新消息消费队列与索引文件流程说明*...
rocketmq-console RocketMQ 控制台
12-27
rocketMq控制台jar包内含脚本启动脚本。
RocketMQ Console安装和使用
01-09
RocketMQ Console安装和使用 文档地址： https://rocketmq-1.gitbook.io/rocketmq-connector/rocketmq-connect-1/rocketmq-console/an-zhuang-he-shi-yong 界面 Console下载 下载地址： https://github.com/apache/rocketmq-externals/releases 提示：作者下的包是 zip包 通过IDEA – Maven 编译打包 Console 编译打包 将项目导入 IDEA 修改编译配置文件 server.contextPath
rocketmq-console-ng(rocketmq可视监控平台)
03-15
rocketmq可视监控平台，完成了打包和运行脚本，直接运行
rocketmq-console-ng-1.0.1.jar
05-20
目前Apache官方提供的rocketmq-console源码里不支持brocker端开启accessKey/secreKey 安全认证，这里提供的jar是我自己开发加入了该功能支持。 运行命令：ava -jar rocketmq-console-ng-1.0.1.jar --server.port=12581 --rocketmq.config.namesrvAddr=localhost:9876 --rocketmq.config.accessKey=rocketmq --rocketmq.config.secretKey=87654321
RocketMQ4.9.2 ACL鉴权设计与RocketMQ-Console对接+JAVA使用ACL鉴权发送消息
weixin_44121378的博客
02-28 4933
RocketMQ ACL使用指南 一 、什么是ACL？ ACL是access control list的简称，俗称访问控制列表 用户：用户是访问控制的基础要素，也不难理解，RocketMQ ACL 必然也会引入用户的概 念，即支持用户名、密码； 资源：需要保护的对象，在 RocketMQ 中，消息发送涉及的 Topic、消息消费涉及的 消费组，应该进行保护，故可以抽象成资源； 权限：针对资源，能进行的操作； 角色：RocketMQ 中，只定义两种是否是管理员 另外，RocketMQ ACL还支持按照客户
docker-compose 搭建RocketMQ 5.1.0 集群开启ACL权限控制 | Spring Cloud 29
热门推荐
gmHappy
03-22 1万+
权限控制（`ACL`）主要为`RocketMQ`提供`Topic`资源级别的用户访问控制。 用户在使用`RocketMQ`权限控制时，可以在`Client`客户端通过 `RPCHook`注入`AccessKey`和`SecretKey签名`；同时，将对应的权限控制属性（包括：`Topic访问权限`、`IP白名单`和`AccessKey`和`SecretKey签名`等）设置在`distribution/conf/plain_acl.yml`的配置文件中。
rocketmq console 加入acl后不能正常运行的解决办法
aa_moon的专栏
12-17 1636
下载源码 进行调整。也有很简单的办法（需要的站内私信，因为分不清敌我）
微信公众平台API测试——接收文本消息
amwhbngv30764的博客
04-29 278
一、简介 当普通微信用户向公众账号发消息时，微信服务器将用户发送的消息封装成XML数据包，通过POST消息发送到开发者的URL上。 微信服务器在五秒内收不到服务器的响应会断掉连接，并且重新发起请求，总共重试三次。关于重试的消息排重，推荐使用msgid排重。 假如服务器无法保证在五秒内处理并回复，可以直接回复空串，微信服务器不会对此作任何处理，并且不会发...
linux内核4.7版本设备驱动介绍
07-23
在Linux内核4.7版本中，设备驱动编程是一个关键部分，它涉及到多个模块和结构，以实现系统的硬件设备管理和通信。其中，class是一个重要的抽象概念，用于组织和管理具有相似用户接口的设备。class并不是物理设备的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值