linux下搭建kafka集群

linux下搭建kafka集群

1、准备：

		1）、kafka压缩包
		2）、3台centOS7 系统的虚机或者服务器
		3）、zookeeper搭建完成
		4）、java环境
		5）、将压缩包上传至服务器上并解压文件

2、配置kafka配置文件

进入解压后的kafka里的config文件夹，编辑service.properties文件
修改以下内容：
		broker.id=1     ----------》 指代理id，3台服务器kafka配置的id需要不一样，这里分别设置为1,2,3
		port=9092		----------》端口号
		host.name=192.168.0.212	--------------》实际ip地址
		num.partitions=4            ----------------》Partition数量，所有消息可以均匀分布到不同的Partition里，来实现负载均衡
		log.dirs=/home/soft/kafka/kafka-logs    ------------》日志存储位置。
		zookeeper.connect=192.168.0.211:2181,192.168.0.212:2181,192.168.0.213:2181   ----------》zookeeper的ip地址和端口（这里有3个ip是因为zookeeper也搭建了集群）

3、 启动kafka

		启动kafka命令为
		./bin/kafka-server-start.sh -daemon config/server.properties
		停止kafka命令为：
		./bin/kafka-server-stop.sh

4、集群测试

			由一台kafka创建topic并发送消息
			./bin/kafka-console-producer.sh --broker-list 192.168.0.213:9092 --topic test01
			这样遍创建了topic为test01的生产者
			再输入需要发送的消息即可

		再进行消息接收（在另外一台虚机上）
		./bin/kafka-console-consumer.sh --zookeeper 192.168.0.211:2181 --topic test01 --from-beginning

	消息接收完成