大数据-Kafka(八)
kafka监控工具安装和使用
Kafka Manager
kafkaManager它是由雅虎开源的可以监控整个kafka集群相关信息的一个工具。
- 可以管理几个不同的集群
- 监控集群的状态(topics, brokers, 副本分布, 分区分布)
- 创建topic、修改topic相关配置。
第一步:上传并减压安装包
unzip kafka-manager-1.3.0.4.zip -d /kkb/install
第二步:修改配置文件
cd /kkb/install/kafka-manager-1.3.0.4/conf
vim application.conf
#修改kafka-manager.zkhosts的值,指定kafka集群地址
kafka-manager.zkhosts="node01:2181,node02:2181,node03:2181"
第三步:启动kafka-manager
- 启动zk集群,kafka集群,再使用root用户启动kafka-manager服务。
- bin/kafka-manager 默认的端口是9000,可通过 -Dhttp.port,指定端口
- -Dconfig.file=conf/application.conf指定配置文件
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8080 &
第四步:访问页面
kafka-manager所在的主机名:8080
KafkaOffsetMonitor
该监控是基于一个jar包的形式运行,部署较为方便。只有监控功能,使用起来也较为安全。
- 消费者组列表
- 查看topic的历史消费信息.
- 每个topic的所有parition列表(topic,pid,offset,logSize,lag,owner)
- 对consumer消费情况进行监控,并能列出每个consumer offset,滞后数据。
第一步:下载安装包
KafkaOffsetMonitor-assembly-0.2.0.jar
第二步:在服务器上新建一个目录kafka_moitor,把jar包上传到该目录中
第三步:在kafka_moitor目录下新建一个脚本
vim start_kafka_web.sh
#!/bin/sh
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk node01:2181,node02:2181,node03:2181 --port 8089 --refresh 10.seconds --retain 1.days
第四步:启动脚本
nohup sh start_kafka_web.sh &
第五步:访问页面
在浏览器中即可使用ip:8089访问kafka的监控页面。
Kafka Eagle
第一步:上传并减压安装包
http://download.smartloli.org/
kafka-eagle-bin-1.2.3.tar.gz
tar -zxvf kafka-eagle-bin-1.2.3.tar.gz -C /kkb/install
#进入到kafka-eagle-bin-1.2.3
cd /kkb/install/kafka-eagle-bin-1.2.3
#解压 kafka-eagle-web-1.2.3-bin.tar.gz
tar -zxvf kafka-eagle-web-1.2.3-bin.tar.gz
第二步:修改配置文件
system-config.properties
# kafka集群信息
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=node01:2181,node02:2181,node03:2181
# kafka eagle页面访问端口
kafka.eagle.webui.port=8048
# kafka sasl authenticate
kafka.eagle.sasl.enable=false
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN
kafka.eagle.sasl.client=/kkb/install/kafka-eagle-bin-1.2.3/kafka-eagle-web/conf/kafka_client_jaas.conf
# 添加刚刚导入的ke数据库配置,这里使用的是mysql
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node03:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456
第四步:配置环境变量
vi /etc/profile
export KE_HOME=/kkb/install/kafka-eagle-bin-1.2.3/kafka-eagle-web-1.2.3
export PATH=$PATH:$KE_HOME/bin
第五步:启动kafka-eagle
进入到$KE_HOME/bin目录,执行脚本sh ke.sh start
第六步:访问页面
启动成功后在浏览器中输入http://node01:8048/ke
就可以访问kafka eagle 了。
用户名:admin
password:123456
此博文仅供学习参考,如有错误欢迎指正。
上一篇《大数据-Kafka(七)》
下一篇《大数据-Kafka(九)》