大数据-Kafka（四）

                                       大数据-Kafka（四）

目录

kafka整合flume

kafka监控工具安装和使用

Kafka Manager

KafkaOffsetMonitor

Kafka Eagle

---

kafka整合flume

• 1、安装flume
• 2、添加flume的配置

vi flume-kafka.conf

#为我们的source channel  sink起名
a1.sources = r1
a1.channels = c1
a1.sinks = k1

#指定我们的source数据收集策略
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /kkb/install/flumeData/files
a1.sources.r1.inputCharset = utf-8

#指定我们的source收集到的数据发送到哪个管道
a1.sources.r1.channels = c1

#指定我们的channel为memory,即表示所有的数据都装进memory当中
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100


#指定我们的sink为kafka sink，并指定我们的sink从哪个channel当中读取数据
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = kaikeba
a1.sinks.k1.kafka.bootstrap.servers = node01:9092,node02:9092,node03:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1

• 3、创建topic

kafka-topics.sh --create --topic kaikeba --partitions 3 --replication-factor 2  --zookeeper node01:2181,node02:2181,node03:2181

• 4、启动flume

bin/flume-ng agent -n a1 -c conf -f conf/flume-kafka.conf -Dflume.root.logger=info,console

• 5、启动kafka控制台消费者，验证数据写入成功

kafka-console-consumer.sh --topic kaikeba --bootstrap-server node01:9092,node02:9092,node03:9092  --from-beginning

kafka监控工具安装和使用

Kafka Manager

kafkaManager它是由雅虎开源的可以监控整个kafka集群相关信息的一个工具。

• 可以管理几个不同的集群
• 监控集群的状态(topics, brokers, 副本分布, 分区分布)
• 创建topic、修改topic相关配置。

第一步：上传并减压安装包

unzip kafka-manager-1.3.0.4.zip  -d /kkb/install

第二步：修改配置文件

cd /kkb/install/kafka-manager-1.3.0.4/conf
vim application.conf

#修改kafka-manager.zkhosts的值，指定kafka集群地址
kafka-manager.zkhosts="node01:2181,node02:2181,node03:2181"

第三步：启动kafka-manager

• 启动zk集群，kafka集群，再使用root用户启动kafka-manager服务。
• bin/kafka-manager 默认的端口是9000，可通过 -Dhttp.port，指定端口
• -Dconfig.file=conf/application.conf指定配置文件

nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8080 &

第四步：访问页面

kafka-manager所在的主机名:8080

KafkaOffsetMonitor

该监控是基于一个jar包的形式运行，部署较为方便。只有监控功能，使用起来也较为安全。

• 消费者组列表
• 查看topic的历史消费信息.
• 每个topic的所有parition列表(topic,pid,offset,logSize,lag,owner)
• 对consumer消费情况进行监控,并能列出每个consumer offset,滞后数据。

第一步：下载安装包

KafkaOffsetMonitor-assembly-0.2.0.jar

第二步：在服务器上新建一个目录kafka_moitor，把jar包上传到该目录中

第三步：在kafka_moitor目录下新建一个脚本

vim start_kafka_web.sh

#!/bin/sh
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk node01:2181,node02:2181,node03:2181 --port 8089 --refresh 10.seconds --retain 1.days

第四步：启动脚本

nohup sh start_kafka_web.sh &

第五步：访问页面

在浏览器中即可使用ip:8089访问kafka的监控页面。

Kafka Eagle

第一步：上传并减压安装包

http://download.smartloli.org/

kafka-eagle-bin-1.2.3.tar.gz

tar -zxvf kafka-eagle-bin-1.2.3.tar.gz -C /kkb/install

#进入到kafka-eagle-bin-1.2.3
cd /kkb/install/kafka-eagle-bin-1.2.3

#解压 kafka-eagle-web-1.2.3-bin.tar.gz
tar -zxvf kafka-eagle-web-1.2.3-bin.tar.gz

第二步：修改配置文件

system-config.properties

# kafka集群信息
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=node01:2181,node02:2181,node03:2181

# kafka eagle页面访问端口
kafka.eagle.webui.port=8048

# kafka sasl authenticate
kafka.eagle.sasl.enable=false
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN
kafka.eagle.sasl.client=/kkb/install/kafka-eagle-bin-1.2.3/kafka-eagle-web/conf/kafka_client_jaas.conf

#  添加刚刚导入的ke数据库配置，这里使用的是mysql
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node03:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456

第四步：配置环境变量

vi /etc/profile

export KE_HOME=/kkb/install/kafka-eagle-bin-1.2.3/kafka-eagle-web-1.2.3
export PATH=$PATH:$KE_HOME/bin

第五步：启动kafka-eagle

进入到$KE_HOME/bin目录，执行脚本sh ke.sh start

第六步：访问页面

启动成功后在浏览器中输入http://node01:8048/ke就可以访问kafka eagle 了。

用户名：admin

password：123456

此博文仅供学习参考，如有错误欢迎指正。

上一篇《大数据-Kafka（六）》

下一篇《大数据-Kafka（八）》