Flume+Kafka消费实时日志

环境安装

前提是已经安装好JDK1.8 Hadoop2.7  zookeeper3.4 scala2.12 

1安装Kafka

1)下载安装包

参考：http://blog.csdn.net/u014035172/article/details/68061463

首先，官网上下载最新版本的Kafka，解压到某个文件夹

2)配置环境：编辑里面的server.properties文件，主要配置如下信息：

 

broker.id=90  #即为kafka服务器起一个id，集群中这个值应保持不同，可以用ip最后一段
host.name=192.168.100.90  #绑定该服务器对应的ip，程序访问该broker时就填写该ip
zookeeper.connect=192.168.100.90:2181 #zookeeper地址

 

3)启动: 

nohup bin/kafka-server-start.sh config/server.properties >kafka.log 2>&1 &

 

 

或

bin/kafka-server-start.sh -daemon config/server.properties  &

#注：启动时请使用nohup或者-daemon方式启动，不然你关闭了你的终端，kafka服务也随着停了。其余kafka服务器的配置参考上面配置，请注意broker.id的配置，每台服务器应不同

 

4)测试是否安装成功(前提是已经启动了ZK)