kafka丢弃zookeeper,使用kraft架构

1、简介

        Kafka 现有架构 元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理 。 而kraft 模式架构(目前在实验阶段)不再依赖 zookeeper 集群,而是用三台 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进行 Kafka 集群管理 。

kraft架构的优点:

1)、Kafka 不再依赖外部框架 而是能够独立运行;
2)、controller 管理集群时,不再需要从 zookeeper 中 先读取数据,集群性能上升;
3)、由于不依赖 zookeeper 集群扩展时不再受到 zookeeper 读写能力限制;
4)、controller 不再动态选举,而是由配置文件规定 。这样就可以有针对性的加强 controller 节点的配置,而不是像以前一样无法应对随机 controller 节点的高负载。

目前版本 kafka3.6.1 支持不同的配置,开启不同的模式。

2、Kraft架构集群搭建
2.1、Kafka解压安装
# 解压
tar -zxvf kafka_2.13-3.6.1.tgz -C /opt/software
2.2、Kafka配置详解(/opt/software/kafka3.6.0/config/kraft/server.properties)

注意:此文件是 config/kfart 下的配置文件。

# This configuration file is intended for use in KRaft mode, where
# Apache ZooKeeper is not present.
############################# Server Basics #############################
# The role of this server. Setting this puts us in KRaft mode
process.roles=broker,controller
# The node id associated with this instance's roles
node.id=1 # 1->node-1;2->node-2;3->node-3(与controller.quorum.voters参数对应)
# The connect string for the controller quorum
controller.quorum.voters=1@node-1:9093,2@node-2:9093,3@node-3:9093
# 不同服务器绑定的端口
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
# Name of listener used for communication between brokers.
inter.broker.listener.name=PLAINTEXT
# 这里使用对应主机ip (broker 对外暴露的地址)
advertised.listeners=PLAINTEXT://node-1:9092 
#controller 服务协议别名
controller.listener.names=CONTROLLER
# 协议别名到安全协议的映射
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
# 数据保存路径
log.dirs=log.dirs=/opt/software/kafka3.6.0/datas
2.3、配置环境变量
# 1、配置环境变量 vim /etc/profile
export KAFKA_HOME=/opt/software/kafka3.6.0
export PATH=$PATH:$KAFKA_HOME/bin
# 2、激活环境变量
source /etc/profile
2.4、初始化集群数据目录
# 1、首先生成存储目录唯一 ID
bin/kafka-storage.sh random-uuid
# 2、用该 ID 格式化 kafka 存储目录 (三台节点都要做)
bin/kafka-storage.sh format -t J7s9e8PPTKOO47PxzI39VA(上一步生成的uuid) -c /opt/software/kafka3.6.0/config/kraft/server.properties
2.5、启动Kafka集群脚本(kraft.sh)
#! /bin/bash
case $1 in
"start"){
 for i in "node-1" "node-2" "node-3"
 do
 echo " --------启动 $i Kafka-------"
 # kafka 后台启动,使用kraft架构方式
 ssh $i "/opt/software/kafka3.6.0/bin/kafka-server-start.sh -daemon /opt/software/kafka3.6.0/config/config/kraft/server.properties"
 done
};;
"stop"){
 for i in "node-1" "node-2" "node-3"
 do
 echo " --------停止 $i Kafka-------"
 ssh $i "/opt/software/kafka3.6.0/bin/kafka-server-stop.sh "
 done
};;
esac
3、总结

        为了减少kafka与zookeeper组件通讯消耗,提高性能,目前kafka通过指定不同的配置文件,开启不同的集群架构,目Kraft架构在试验阶段,主流架构依旧使用zookeeper对kafka元数据进行管理,本文详细介绍kraft架构集群搭建。关于使用zookeeper进行kafka集群搭建之前博客参考:https://blog.csdn.net/zwl2220943286/article/details/135350937

        本人是一个从小白自学计算机技术,对运维、后端、各种中间件技术、大数据等有一定的学习心得,想获取自学总结资料(pdf版本)或者希望共同学习,关注微信公众号:it自学社团。后台回复相应技术名称/技术点即可获得。(本人学习宗旨:学会了就要免费分享)

  • 11
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知其_所以然

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值