kafka 安装

kafka 单机版安装,见官网

分布式安装

下载最近稳定版的kafka
http://mirror.bit.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz
解压

编辑配置文件

config/server.properties
修改两项

broker.id=541
zookeeper.connect=sr541:2181,sr553:2181,sr554:2181

broker.id 设置与hostname 相关的整数
zookeeper.connect 填写zookeeper的hostname:port

启动kafka

在每台节点执行以下命令

bin/kafka-server-start.sh config/server.properties

验证kafka 集群是否可用

#这些操作是客户端的，可以运行在没有kafka服务的机器上
#创建 topic
bin/kafka-topics.sh --create --zookeeper sr541:2181,sr553:2181,sr554:2181 --replication-factor 3 --partitions 3 --topic test
#list topic
bin/kafka-topics.sh --list --zookeeper sr541:2181,sr553:2181,sr554:2181

集群扩容

kafka 集群可以动态扩容
想增加一个broker，编辑好相应的配置文件，启动服务即可。