Kafka集群搭建

Java环境安装

mkdir java
cd java
wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz
tar -zxvf jdk-17_linux-x64_bin.tar.gz
mv jdk-17.0.2/ /usr/java
vim /etc/profile
# 追加以下环境变量到文件末尾
export JAVA_HOME=/usr/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
# 保存退出
# 立即生效
source /etc/profile
java -version

Zookeeper安装

zookeeper官网

搭建环境

host	ip	port	version	os
server-1	10.0.24.131	2181	apache-zookeeper-3.7.0	Ubuntu 20.04 64位
server-2	10.0.24.132	2181	apache-zookeeper-3.7.0	Ubuntu 20.04 64位
server-3	10.0.24.133	2181	apache-zookeeper-3.7.0	Ubuntu 20.04 64位

部署流程

集群部署，其他节点操作类似。

mkdir zk
cd zk
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
mv apache-zookeeper-3.7.0-bin /opt/zk
cd /opt/zk/conf/
cp zoo_sample.cfg zoo.cfg
#创建配置文件，其他节点一样
vim zoo.cfg
#修改dataDir
dataDir=/data/zookeeper
#添加以下3个节点,注意服务器开通端口号
server.1=10.0.24.131:2888:3888
server.2=10.0.24.132:2888:3888
server.3=10.0.24.133:2888:3888
#保存退出
cd /
mkdir data
cd data/
mkdir zookeeper
cd zookeeper/
touch myid
#创建myid文件，其他节点根据zoo.cfg配置来
vim myid
#输入节点1，server.x的这个x（1,2,3）值
1
#保存退出

#设置自启动
cat <<EOF | sudo tee /etc/systemd/system/zookeeper.service
[Unit]
# Zookeeper服务的描述
Description=Zookeeper Service
# 服务依赖—在什么服务之后启动，一般为在网络服务启动后启动
After=network.target

[Service]
# 服务类型—如果是shell脚本的方式,则Type=forking,否则不指定作何值(也就是去掉该配置项)
Type=forking
# 启动环境参数
# 此脚本指定了Zookeeper日志和Java的目录
Environment=ZOO_LOG_DIR=/data/zookeeper/logs/
Environment=JAVA_HOME=/usr/java/
# 启动命令
ExecStart=/opt/zk/bin/zkServer.sh start
# 停止命令
ExecStop=/opt/zk/bin/zkServer.sh stop
# 重启命令
ExecReload=/opt/zk/bin/zkServer.sh restart
[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload && systemctl enable zookeeper&& systemctl start zookeeper
#查看2181端口是否启动成功
ss -ntl
#当三台节点都启动完毕后可以查看他们各自在集群中的状态：
cd /opt/zk/bin/
./zkServer.sh status


#如果启动失败，可以用以下指令查看失败原因，或者到/data/zookeeper/logs/路径下查看日志
systemctl status zookeeper.service

Kafka安装

搭建环境

host	ip	port	version	os
server-1	10.0.24.131	9092	kafka_2.12-3.1.0	Ubuntu 20.04 64位
server-2	10.0.24.132	9092	kafka_2.12-3.1.0	Ubuntu 20.04 64位
server-3	10.0.24.133	9092	kafka_2.12-3.1.0	Ubuntu 20.04 64位

部署流程

mkdir kafka
cd kafka
wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz
tar -zxvf kafka_2.12-3.1.0.tgz
mv kafka_2.12-3.1.0 /opt/
cd /opt/
mv kafka_2.12-3.1.0/ kafka
cd kafka/config/
#修改配置文件
vim server.properties
#修改内容看以下图片，修改后保存退出

#设置开机启动
cat <<EOF | sudo tee /etc/systemd/system/kafka.service 
[Unit]
Description=Apache Kafka server
After=network.target  zookeeper.service

[Service]
Type=forking
Environment=JAVA_HOME=/usr/java/
ExecStart=/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure
RestartSec=10s
[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload && systemctl enable kafka&& systemctl start kafka

参考博客

kafka之二：手把手教你安装kafka2.8.0
zookeeper之二：手把手教你安装zookeeper3.7.0
centos7下zookeeper集群安装部署
centos7下kafka集群安装部署