kafka-zookeeper集群架构可视化监控，Kafka-Eagle安装部署

1、简介

        在 kafka-zookeeper 集群架构下，zookeeper 管理 kafka 的元数据信息，如何监控这些信息，并且能够直观查看和管理 kafka 一些具体 主题、分区等参数信息，是非常便于开发的，因此 Kafka-Eagle 是一个为监控 kafka 集群量身定制的一个项目。

2、Kafka-Eagle 下载安装

2.1、 Kafka-Eagle 下载

下载地址：EFAK

2.2、Kafka-Eagle安装

# 1、解压
tar -zxvf kafka-eagle-bin-3.0.1.tar.gz  
tar -zxvf efak-web-3.0.1-bin.tar.gz 
mv efak-* efak     # 修改文件夹名
# 2、配置环境变量
vim /etc/profile
export KE_HOME=/opt/efak             # 本次安装在/opt/efak目录下
export PATH=$PATH:$KE_HOME/bin
source /etc/profile                 # 激活本次添加的环境变量

2.3、环境准备

 Kafka-Eagle 的安装依赖于MySQL，MySQL 主要用来存储可视化展示的数据。需要mysql数据库。 数据库会自动创建一个 ke 并且初始化了一些表结构。

使用 docker 启动mysql。

# 1、拉取镜像
docker pull mysql:latest
# 2、查看镜像是否存在
docker images
# 3、启动mysql容器，连接mysql密码设置为123456
docker run -p 3306:3306 --name mysql --restart=always --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -d mysql:latest
# 4、查看是否启动成功
docker ps

2.4、修改efak配置

# vim /opt/efak/conf/system-config.properties
# 主要修改以下几个参数
efak.zk.cluster.alias=cluster1
cluster1.zk.list= node-1:2181,node-2:2181,node-3:2181/kafka
cluster1.efak.offset.storage=kafka
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://192.168.30.88:3306/ke?useUnicode=true&characterEncoding=UTF8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=123456

2.5、修改kafka启动脚本

vim bin/kafka-server-start.sh

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
	export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
	export JMX_PORT="9999"
	#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

 注：集群所有kafka节点都要修改。

2.6、efak服务管理

# 1、启动
cd /opt/efak/bin
./ke.sh start
# 2、登录
http://ip:8048
用户名：admin
密码：123456
# 3、停止
./ke.sh stop

如下图，登录之后显示这个页面就说明成功了。（下图各参数为0，是因为 cluster1.zk.list 参数后面没有加 /kafka 导致的，不影响最后结果） 

3、总结

        本文详细介绍 kafka-zookeeper 集群架构下，使用 Kafka-Eagle 对集群进行监控管理，大大降低使用和管理 kafka 的难度。

        本人是一个从小白自学计算机技术，对运维、后端、各种中间件技术、大数据等有一定的学习心得，想获取自学总结资料（pdf版本）或者希望共同学习，关注微信公众号：it自学社团。后台回复相应技术名称/技术点即可获得。（本人学习宗旨：学会了就要免费分享）