flume同kafka的对接

大家：

  好！ flume同kafka的对接，请参考

 

本质上是将flume作为kafka的生产者来说的，监控一个目录，kafka消费者显示

第一步：编辑flume_kafka的配置文件，是在flume的conf 目录下flume-kafka.sh（脚本在后面）

说明：此步前提是要先在kafka中创建一个名为kafkatest的topic，

第二步：启动flume脚本

 bin/flume-ng agent -c conf -f conf/flume-kafka.sh -n agent

说明：后面的-n 是agent的名称，我踩过一次坑

启动flume之后的截图如下所示:

显示正在等待输入的状态

第三步：启动kafka的消费者的程序

kafka-console-consumer.sh --topic kafkatest--zookeeper hadoop:2181

第四步：往日志文件中添加数据，观察kafka的客户端是否显示

  往日志文件中增加数据，可以是echo 的命令，也可以用crontab ，也可以用azkaba

[root@hadoop test]# ll
total 40
-rw-r--r-- 1 root root     1 Mar 11