kafka

上传kafka_2.10-0.8.2.2.tgz包到三个不同节点上，解压。

  tar -zxf kafka_2.11-0.11.0.3.tgz -C /opt/

配置…/ kafka_2.10-0.8.2.2/config/server.properties文件

#节点编号：（不同节点按0,1,2,3整数来配置）
broker.id=0
#真实数据存储位置：
log.dirs=/kafka_log/kafka-logs
#zookeeper的节点：
zookeeper.connect=node2:2181,node3:2181,node4:2181

启动zookeeper集群。

zkServer.sh start

三个节点上，启动kafka:

bin/kafka-server-start.sh   config/server.properties

最好使用自己写的脚本启动，将启动命令写入到一个文件：

nohup bin/kafka-server-start.sh   config/server.properties > kafka.log 2>&1 &

相关命令

创建topic：

#partitions：分区数
#replication-factor： 副本数
./kafka-topics.sh --zookeeper node2:2181,node3:2181,node4:2181  --create --topic topic1 --partitions 3 --replication-factor 3	

生产者

./kafka-console-producer.sh  --topic  topic2019 --broker-list node1:9092,node2:9092,node3:9092

消费者

./kafka-console-consumer.sh --zookeeper node2:2181,node3:2181,node4:2181 --topic topic2019

查看topic列表

./kafka-topics.sh  --list --zookeeper node2:2181,node3:2181,node4:2181

查看kafka中topic的描述：

./kafka-topics.sh --describe --zookeeper node2:2181,node3:2181,node4:2181  --topic topic2019

删除kafka中的数据

在每台broker节点中的../config/server.properties中配置属性：delete.topic.enable=true
./kafka-topics.sh --zookeeper node2:2181,node3:2181,node4:2181 --delete --topic topic2019