rocketmq-exporter启动失败原因

最近在生产部署rocketmq-exporter过程中遇到了启动失败的问题,特此记录一下。

背景

生产分为两个IDC,都部署了rocketmq集群;其中IDC1为私有云环境,IDC2为物理机集群;其中IDC1上部署rocketmq-exporter过程中,启动没有任何问题,但在IDC2上部署rocketmq-exporter过程中,启动出现了如下错误:

org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'metricsCollectTask': Invocation of init method failed; nested exception is org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to null failed

排查

怀疑点:网络问题

排查:相关网络打通

由于IDC2物理机为双网卡,一直担心网络方面存在问题,但部署rocketmq-exporter的机器、和rocketmq的集群都在同一网段,并且可以telnet通9876和10911等端口;但是在IDC1上面,配置IDC2对应的ns集群地址,是可以正常启动的;后面尝试让运行同事将rocketmq-exporter配置的ns地址切换为127.0.0.1,发现还是不行,只能看相关的源码和rocketmq_client.log日志;

排查:rocketmq_client.log日志

在rocketmq_client.log日志中发现如下WARN片段
WARN RocketmqRemoting - getAndCreateNameserverChannel: try to lock name server, but timeout, 3000ms

结合rocketmq相关源码,可以确认该报错的原因是由于和NameServer创建连接过程中,由于3s中获取不到锁,导致的该问题;然后惊喜的在搜索引擎中发现类似问题!
https://blog.csdn.net/heihaozi/article/details/119145266
按照大佬的分析,并且defaultMQAdminExt启动前,先去加载类中的静态代码块

DefaultChannelId.newInstance();
defaultMQAdminExt.start();

修改代码后,重新打包,在IDC2物理机集群上可以正常启动,并采集数据!bingo,天真的我此刻打算是否可以给官方rocketmq-exporter提一个issue;

又起波澜

几天后,相关集成rocketmq-client的应用,在该物理机集群上启动,结果发现启动同样报错,但在日志分析过程中,发现报错日志中有如下WARN内容:

InetAddress.getLocalHost().getHostName() took 10018 milliseconds to respond. Please verify your network configuration.

该问题在stackoverflow中找到相关的解释,https://stackoverflow.com/questions/33289695/inetaddress-getlocalhost-slow-to-run-30-seconds
通过修改/etc/hosts,成功解决了该问题,并且可以预见rocketmq-exporter也是由于该问题导致的;其中IDC1由于为私有云,默认会配置hostname和回环地址,物理机集群一般未配置,因此出现该问题

总结

​ 路漫漫其修远兮,吾将上下而求索
解决问题不能只停留于表面,最开始的解决方案虽然可以解决问题,但是并未找到两个IDC上面的差异,问题研究需要深入,不然就是埋坑!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值