Kafka系列之:实现对Kafka集群的监控
一、Kafka监控数据
- Kafka监控指标:broker指标、主题的指标,集群层面的指标可以通过各个broker的指标值累加获得
- Kafka通过JMX来获取,在使用JMX之前需要确保Kafka开启了JMX的功能。
- Kafka在启动时需要通过配置JMX_PORT来设置JMX的端口号并以此来开启JMX的功能。
示例如下:
JMX_PORT=9999 nohup bin/kafka-server-start.sh config/server.properties &
- 开启JMX之后会在ZooKeeper的/brokers/ids/<brokerId>节点中有对应的呈现(jmx_port字段对应的值)
- 开启JMX功能之后,最简单的获取监控指标的方式是直接使用Java自带的工具JConsole
二、同步失效分区
- 处于同步失效或功能失效的副本统称为失效副本。
- 在一个运行状况良好的Kafka集群中,失效分区的个数应该为0.
- Kafka本身提供了一个相关的指标来表征失效分区的个数,即UnderReplicatedPartitions,可以通过JMX访问来获取其值:
kafka.server: