kafka的安装

1、解压kafka软件，到config目录下vi server.properties

2、配置机器序号，比如CentOS16节点borker.id=0
CentOS17节点上面borker.id=1
CentOS18节点上面borker.id=2

3、然后启动每台节点上面的zookeeper。zkServer.sh start

4、每个节点上面执行bin/kafka-server-start.sh config/server.properties
（如果觉得麻烦，可以编写一个脚本startkafka.sh
内容为nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
然后修改权限：chmod 755 startkafka.sh ）

5、创建topic（创建的topic包含三个partitions，topic的名称为demo1）
./kafka-topics.sh –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –create –topic demo1 –partitions 3 –replication-factor 3

6、查看kafka中topic列表
./kafka-topics.sh –list –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181

7、查看kafka中topic的描述（查看demo1这个topic信息）
./kafka-topics.sh –describe –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –topic demo1
（查看所有./kafka-topics.sh –describe –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181）

8、用一个节点控制台来当kafka的生产者
./kafka-console-producer.sh –topic demo1 –broker-list CentOS16:9092,CentOS17:9092,CentOS18:9092

9、用另一个节点控制台来当kafka的消费者
./kafka-console-consumer.sh –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –topic demo1
（关闭消费者的客户端，再次启动，如果想看之前的记录，则
./kafka-console-consumer.sh –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –topic topic2017 –from-beginning）

查看zookeeper中topic相关信息：
启动zookeeper客户端：
./zkCli.sh
查看topic相关信息：
ls /brokers/topics/
查看消费者相关信息：
ls /consumers
比如查看序号为2的这台节点在topic2017上面的消费
get /consumers/console-consumer-5036/offsets/topic2017/2

kafka的leader的均衡机制
在配置文件conf/server.properties中配置开启（默认开启）：
auto.leader.rebalance.enable true
其他配置：
预写日志:
spark.streaming.receiver.writeAheadLog.enable 默认false没有开启
blockInterval:
spark.streaming.blockInterval 默认200ms
反压机制:
spark.streaming.backpressure.enabled 默认false
接收数据速率:
spark.streaming.receiver.maxRate 默认没有设置

删除topic，以demo1为例
第一步：找到/opt/kafka-logs/ 目录下，删除所有demo1开头的文件
第二步：进入zookeeper客户端，rmr /brokers/topics/demo1
第三步：在zookeeper客户端，rmr /admin/delete_topics/demo1