kafka集群安装

kafka集群安装的前提条件是， zookeeper集群已经安装完成， zookeeper集群具体安装，参考我的csdn博客上面的。

1、下载

到kafka.apache.org下载这个版本kafka
kafka_2.11-0.11.0.0.tgz

2、解压安装包

tar -zxvf kafka_2.11-0.11.0.0.tgz
mv kafka_2.11-0.11.0.0/ kafka
cd kafka
mkdir logs

3、修改配置文件

cd config/
vi server.properties

#broker 的全局唯一编号，不能重复 
broker.id=0

#删除 topic 功能使能
delete.topic.enable=true

#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量 
num.io.threads=8 
#发送套接字的缓冲区大小 
socket.send.buffer.bytes=102400 
#接收套接字的缓冲区大小 
socket.receive.buffer.bytes=102400 
#请求套接字的缓冲区大小 
socket.request.max.bytes=104857600 

#kafka 运行日志存放的路径 
log.dirs=/opt/tools/kafka/logs 

#topic 在当前 broker 上的分区个数 
num.partitions=1
#用来恢复和清理 data 下数据的线程数量 num.recovery.threads.per.data.dir=1 
#segment 文件保留的最长时间，超时将被删除 
log.retention.hours=168
#配置连接 Zookeeper 集群地址 zookeeper.connect=10.222.51.64:2181,10.222.51.65:2181,10.222.51.66:2181

其他机器同样： broker.id=1、broker.id=2
注:broker.id 不得重复

4、启动集群

./kafka-server-start.sh -daemon /opt/tools/kafka/config/server.properties

5、关闭集群

./kafka-server-stop.sh stop

6、附加学习项

kafka 群起脚本

for i in k1 k2 k3
do
echo "========== $i =========="
ssh $i '/opt/tools/kafka/bin/kafka-server-start.sh -daemon
/opt/tools/kafka/config/server.properties' 
done