kafka集群搭建

tar -zxvf kafka_2.12-2.1.0.tgz

cd config

####################参数修改############################## 

#master

broker.id=0  #每台服务器的broker.id都不能相同 

zookeeper.connect=master:2181,slave1:2181

#slave1

broker.id=1  #每台服务器的broker.id都不能相同 

zookeeper.connect=master:2181,slave1:2181

####################参数修改##############################

 

1.启动服务

#从后台启动Kafka集群（master and slave1）

cd bin

./kafka-server-start.sh -daemon ../config/server.properties

 

2.创建topic

./kafka-topics.sh --create --zookeeper master:2181,slave1:2181 --replication-factor 2 --partitions 1 --topic spark

#replication-factor 2   每个partition的副本个数。任意将每一个分区复制到n个broker上

#partitions 1 创建1个分区

#topic 主题为spark

 

3.查看topic

./kafka-topics.sh --list --zookeeper master:2181,slave1:2181 

./kafka-topics.sh --zookeeper master:2181,slave1:2181 --topic "spark " --describe