手把手教你搭建zookeeper和kafka集群（超级详细）

已于 2022-09-03 10:51:39 修改
阅读量4.2k 收藏 64
点赞数 12
分类专栏： 笔记 文章标签： kafka java-zookeeper zookeeper
于 2022-08-29 00:22:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhiboqingyun/article/details/126573407
版权

一、环境准备

1、准备3台机器

主机名称主机IPzookeeper版本kafka版本
worker01192.168.19.130zookeeper-3.6.3kafka_2.12-3.0.1
worker02192.168.19.131zookeeper-3.6.3kafka_2.12-3.0.1
worker03192.168.19.132zookeeper-3.6.3kafka_2.12-3.0.1

2、3台机器安装jdk1.8环境

3、下载kafka安装包（此处下载，可忽略第二步：下载安装包）: 

 kafka_2.12-3.0.1.tgz

4、下载zookeeper安装包（此处下载，可忽略第二步：下载安装包）：

apache-zookeeper-3.6.3-bin.tar.gz

二、下载安装包（官方下载，仅供参考）

  1、登录官方：Index of /

  2、下载zookeeper安装包，apache-zookeeper-3.6.3-bin.tar.gz

  3、下载kafka安装包，kafka_2.12-3.0.1.tgz

三、环境配置

1、修改主机名（分别单独执行）

# 修改主机名，在worker01上执行

hostnamectl set-hostname worker01

bash # 不重启，使修改主机名生效



# 修改主机名，在worker02上执行

hostnamectl set-hostname worker02

bash # 不重启，使修改主机名生效



# 修改主机名，在worker03上执行

hostnamectl set-hostname worker03

bash # 不重启，使修改主机名生效

2、关闭防火墙(worker01、worker02、worker02都执行)

systemctl stop firewalld

systemctl disable firewalld

systemctl status firewalld

3、配置/etc/hosts(worker01、worker02、worker02都执行)

cat >> /etc/hosts << EOF

192.168.19.130 worker01
192.168.19.131 worker02
192.168.19.132 worker03

EOF

四、安装 jdk

1、查询仓库jdk软件包(worker01、worker02、worker02都执行)

# 查询jdk软件包
yum list |grep jdk

# 安装系统对应版本
yum install -y java-1.8.0-openjdk-devel.x86_64

# 查看jdk是否配置生效
java -version

# 后续可以用jps查看，主机启动的所有java进程
jps

 

五、安装zookeeper集群

1、解压目录（worker01、worker02、worker03，都要执行）

# 创建目录
mkdir -p /home/kafaka-zookeeper

cd /home/kafaka-zookeeper

# 上传安装包apache-zookeeper-3.6.3-bin.tar.gz到该目录下

# 解压
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz

# 重命名
mv apache-zookeeper-3.6.3-bin apache-zookeeper-3.6.3

 2、修改配置文件（worker01、worker02、worker03，都执行）

# 创建目录
mkdir -p /home/kafaka-zookeeper/apache-zookeeper-3.6.3/{data,logs}

# 修改配置文件名
cd /home/kafaka-zookeeper/apache-zookeeper-3.6.3/conf

mv zoo_sample.cfg zoo.cfg

3、修改配置文件（worker01、worker02、worker03，都要执行）

vi zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/kafaka-zookeeper/apache-zookeeper-3.6.3/data
dataLogDir=/home/kafaka-zookeeper/apache-zookeeper-3.6.3/logs
clientPort=2181
server.1=192.168.19.130:2888:3888
server.2=192.168.19.131:2888:3888
server.3=192.168.19.132:2888:3888

4、创建myid


# 在 worker01、worker02、worker03 上都执行
cd /home/kafaka-zookeeper/apache-zookeeper-3.6.3/data

# 在 worker01、worker02、worker03 上都执行
touch myid


# 只在 192.168.19.130 worker01 上执行
echo 1 > /home/kafaka-zookeeper/apache-zookeeper-3.6.3/data/myid


# 只在192.168.19.131 worker02 上执行
echo 2 > /home/kafaka-zookeeper/apache-zookeeper-3.6.3/data/myid


# 只在192.168.19.132 worker03 上执行
echo 3 > /home/kafaka-zookeeper/apache-zookeeper-3.6.3/data/myid

5、zookeeper启动、停止

# zookeeper 启动
/home/kafaka-zookeeper/apache-zookeeper-3.6.3/bin/zkServer.sh start

# zookeeper 停止
/home/kafaka-zookeeper/apache-zookeeper-3.6.3/bin/zkServer.sh stop

# zookeeper 查看状态
/home/kafaka-zookeeper/apache-zookeeper-3.6.3/bin/zkServer.sh status

# 3台机器的状态
mode：follower    # 从
mode：leader      # 主
mode：follower    # 从

# 运行客户端（后面介绍kafka注册）
/home/kafaka-zookeeper/apache-zookeeper-3.6.3/bin/zkCli.sh -server worker0x的IP:2181

3台主机，需要全部执行启动命令，查看zookeeper启动状态，如果正常选主，就启动成功了；反之，失败，需要检查日志 dataLogDir=/home/kafaka-zookeeper/apache-zookeeper-3.6.3/logs。

六、安装kafka集群

1、解压目录（worker01、worker02、worker03，都要执行）

# 进入目录
cd /home/kafaka-zookeeper

# 上传kafka_2.12-3.0.1.tgz到该目录下

# 解压安装包kafka_2.12-3.0.1.tgz
tar -zxvf kafka_2.12-3.0.1.tgz

2、修改配置（worker01、worker02、worker03，都要执行）

# 创建目录
mkdir -p /home/kafaka-zookeeper/kafka_2.12-3.0.1/{data,logs}
# 进入kafka_2.12-3.0.1的配置文件目录
cd /home/kafaka-zookeeper/kafka_2.12-3.0.1/config

# 备份配置文件
cp server.properties server.properties.bak

# 删除注释行
sed -i "/#/d" server.properties
vim server.properties

# worker01 192.168.19.130 配置文件修改
broker.id=1
listeners=PLAINTEXT://192.168.19.130:9092
num.network.threads=12
num.io.threads=24
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/home/kafaka-zookeeper/kafka_2.12-3.0.1/logs
num.partitions=3
num.recovery.threads.per.data.dir=12
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3

log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

zookeeper.connect=192.168.19.130:2181,192.168.19.131:2181,192.168.19.132:2181

zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

# 其它2台配置

# worker02 192.168.19.131 配置文件修改
broker.id=2
listeners=PLAINTEXT://192.168.19.131:9092
log.dirs=/home/kafaka-zookeeper/kafka_2.12-3.0.1/logs
num.partitions=3
zookeeper.connect=192.168.19.130:2181,192.168.19.131:2181,192.168.19.132:2181

# worker03 192.168.19.132 配置文件修改
broker.id=3
listeners=PLAINTEXT://192.168.19.132:9092
log.dirs=/home/kafaka-zookeeper/kafka_2.12-3.0.1/logs
num.partitions=3
zookeeper.connect=192.168.19.130:2181,192.168.19.131:2181,192.168.19.132:2181

3、启动kafka集群

# 启动kafka
nohup /home/kafaka-zookeeper/kafka_2.12-3.0.1/bin/kafka-server-start.sh /home/kafaka-zookeeper/kafka_2.12-3.0.1/config/server.properties &>> /home/kafaka-zookeeper/kafka_2.12-3.0.1/logs &

4、验证kafka集群

cd /home/kafaka-zookeeper/kafka_2.12-3.0.1/bin

# 创建 kafka topic hkzs
 ./kafka-topics.sh --create --bootstrap-server 192.168.19.130:9092,192.168.19.131:9092,192.168.19.132:9092 --replication-factor 3 --partitions 3 --topic zbqy


# 列出所有的topic
./kafka-topics.sh --list --bootstrap-server 192.168.19.130:9092

# 在worker01 192.168.19.130 上发布消息
./kafka-console-producer.sh --broker-list  192.168.19.130:9092 --topic hkzs
>我过的挺好
>zoo


#  在worker02 192.168.19.131 上消费
./kafka-console-consumer.sh --bootstrap-server 192.168.19.131:9092 --topic hkzs --from-beginning
我过的挺好
zoo


#  在worker02 192.168.19.132 上消费
./kafka-console-consumer.sh --bootstrap-server 192.168.19.132:9092 --topic hkzs --from-beginning
我过的挺好
zoo

5、验证zookeeper集群

cd /home/kafaka-zookeeper/apache-zookeeper-3.6.3/bin

# 进入zookeeper客户端，如果是自定义端口一定要 -server 指定IP:port，否则默认进入2181端口

./zkCli.sh -server 192.168.19.131:2181

# 查看服务
WatchedEvent state:SyncConnected type:None path:null
[zk: 192.168.19.131:2181(CONNECTED) 0] ls /brokers/ids
[1, 2, 3]
[zk: 192.168.19.131:2181(CONNECTED) 1] ls /brokers/topics 
[__consumer_offsets, hkzs]


# 进入zookeeper客户端，不是自定义
./zkCli.sh
[zk: localhost:2181(CONNECTED) 1] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper]
[zk: localhost:2181(CONNECTED) 2] ls /config 
[brokers, changes, clients, ips, topics, users]
[zk: localhost:2181(CONNECTED) 3] ls /config/brokers
[]
[zk: localhost:2181(CONNECTED) 4] ls /config/topics 
[__consumer_offsets, hkzs, zbqy]

黑客知识
关注
  • 12
    点赞
  • 踩
  • 64
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
zookeeper+kafka集群搭建及安装包
11-15
zookeeper+kafka集群搭建及安装包
zookeeper、kafka集群部署
10-08
zookeeper配置、集群部署 kafka配置、集群部署 Window平台下
[分布式] zookeeper集群与kafka集群
2302_76410765的博客
07-12 1978
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。
Kafka集群+zookeeper集群安装教程
Scofield_No1的博客
11-26 2540
一、Zookeeper 安装第一步、前期准备： 操作系统 centos 6 安装包 zookeeper-3.4.10.tar.gz Java 环境 jdk1.8.0_151 第二步：Zookeeper 集群搭建1. 简介Kafka 依赖 Zookeeper 管理自身集群（Broker、Offset、Producer、Consumer等），所以先要安装 Zookee
部署zookeeper+kafka
最新发布
刘某的博客
04-25 550
简述二进制和docker的方式部署zookeeper+kafka.
Zookeeper和Kafka安装与配置
andy_puth的博客
04-09 897
最近学习大数据环境搭建，今天的是分布式集群的搭建工作，今天的是zookeeper和Kafka的安装和配置部署。
zookeeper集群+Kafka集群
m0_75209491的博客
11-29 1002
主题(topic)相当于Kafka队列的名称生产者负责发布数据消费者负责消费数据分区就是存储生产者发布的数据偏移量就是数据在分区中的位置生产者发布数据生产者消费数据经纪人负责管理生产者发布的数据1、 zookeeper主要是分布式、观察者模式，统一各个服务器节点的数据。在Kafka当中，手机保存Kafka的元数据2、 Kafka消息队列：是订阅发布模式Kafka：速度快，资源占用量高RABBIT MQ：轻量级3、 Kafka的组件：主题：topic。一个主题就相当于1个微信群。
在Windows上搭建Kafka环境的步骤，包括安装Java、下载Kafka、配置Zookeeper和Kafka、启动Zookeeper和Kafka、创建主题和生产者/消费者等
qqqq5701的专栏
05-12 1228
本文介绍了在Windows上搭建Kafka环境的步骤，包括安装Java、下载Kafka、配置Zookeeper和Kafka、启动Zookeeper和Kafka、创建主题和生产者/消费者等。Kafka是一个功能强大的消息队列，具有高性能、可扩展、分布式等优点，可以满足实时数据流处理、日志收集、流式处理等场景的需求。
Docker搭建Zookeeper&Kafka集群的实现
09-29
主要介绍了Docker搭建Zookeeper&Kafka集群的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
基于Zookeeper搭建Kafka高可用集群
08-09
基于Zookeeper搭建Kafka高可用集群
kafka与zookeeper集群搭建（无废话版）
m0_67056443的博客
09-12 233
然后通过ifconfig获取到ip，我这里的三台虚拟机ip分别是192.168.126.137,192.168.126.138,192.168.126.139，同时zk和kafka运行需要java运行环境，我们需要提前安装好jdk。（2).获取到zk和kafka的安装包，这里我的是apache-zookeeper-3.5.6-bin.tar.gz和kafka_2.11-2.4.1.tgz版本，需要可私聊博主获取，或者直接网上下载。解压后,三台主机重复以下操作,为了后续操作方便,重命名。
Zookeeper集群+Kafka集群
m0_73792056的博客
01-08 1143
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据实时处理领域。
【windows】安装zookeeper、Kafka、pykafka教程与基本概念详解
筱超的博客
07-20 428
Zookeeper是用于分布式协调的开源框架，Kafka是用于高吞吐量、低延迟消息传输的分布式消息队列系统，而pykafka是用于Python语言的Kafka客户端库，用于在Python项目中操作Kafka集群。它们共同构成了一个完整的分布式消息传输和处理系统。
kafka利用自带的zookeeper进行集群部署
hjxisking的专栏
01-28 2646
一、前提条件 1、部署Kafka集群搭建需要服务器至少3台，奇数台 2、Kafka的安装需要java环境，jdk1.8 3、Kafka安装包版本：https://mirror-hk.koddos.net/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 4、3台机器增加host配置： 192.168.202.129 kafka-1.local 192.168.202.130 kafka-2.local 192.168.202.131 kafka-3.local...
Kafka 单机（集群）安装部署（自带zookeeper）
zhanzjx的博客
03-23 5611
背景： kafka官网：http://kafka.apache.org/ kafka下载页面：http://kafka.apache.org/downloads kafka配置快速入门：http://kafka.apache.org/quickstart 新版本的kafka自带有zookeeper，本篇文章记录使用自带zookeeper搭建kafka集群。 消息队列术语： •Kafka将消息以topic为单位进行归纳。 •将向Kafka topic发布消息的程序成为producers. •将预订topi
zookeeper + kafka集群搭建详解
码海小虾米_的博客
07-21 1662
Kafka 概述一、消息队列介绍1.1 为什么需要消息队列 （MO）1.2 使用消息队列的好处1.3 消息队列的两种模式二、Kafka相关介绍2.1 Kafka定义2.2 Kafka简介2.3 Kafka的特性三、Kafka系统架构3.1 Broker3.2 Topic3.3 Partition3.4 Leader3.5 Follower3.6 Replica3.7 Producer3.8 Consumer3.9 Consumer Group (CG )3.10 offset偏移量3.11 Zo
zookeeper 和 kafka 搭建集群
m0_55380752的博客
05-13 997
zookeeper 集群 和 kafka 集群搭建步骤
kafka+zookeeper集群部署
professorman的博客
03-13 978
kafka+zookeeper集群部署 为了实现高可用，高吞吐量，kafka以集群方式部署，分別在3台服务器上安裝部署，因kafka依赖于zookeeper，如果想要使用Kafka，就必须安装ZK，Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。 环境准备 三台机器 192.168.189.129 192.168.189.130 192.168.189.131 首先三台机器进行初始化设置，关闭防火墙，关闭seLinux，关闭默认java环境，配置新的java环境；
kafka（自带zookeeper）集群搭建
yinjiajia1010的博客
01-15 2384
  CentOs6.5安装Kafka集群步骤 1.配置单个虚拟机 1.1下载kafka安装包 打开浏览器，输入网址： http://kafka.apache.org/downloads.html。 每台机器的环境：CentOs 6.5 ，Java 1.8 ,kafka2.11自带Zookeeper。   1.2压缩包操作 下载完成后，打开终端，在命令行输入 cd /Download...
zookeeper,kafka集群搭建，基础命令及kafka监控指南
10-15
好的，关于zookeeper和kafka集群搭建，可以分为以下几个步骤： 1. 安装zookeeper和kafka 2. 配置zookeeper集群 3. 配置kafka集群 4. 启动zookeeper集群 5. 启动kafka集群 基础命令如下： 1. 启动zookeeper：bin/zookeeper-server-start.sh config/zookeeper.properties 2. 启动kafka：bin/kafka-server-start.sh config/server.properties 3. 创建topic：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 4. 生产消息：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 5. 消费消息：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning 关于kafka监控指南，可以使用Kafka Manager或者Kafka Monitor进行监控。Kafka Manager是一个开源的Kafka管理工具，可以用于管理多个Kafka集群，包括监控、管理、维护等功能。Kafka Monitor是一个基于JMX的监控工具，可以监控Kafka的各种指标，如消息生产和消费速率、分区状态等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值