Kafka为什么依赖Zookeeper？

最新推荐文章于 2024-06-22 23:07:47 发布
最新推荐文章于 2024-06-22 23:07:47 发布
阅读量6.7k 收藏 23
点赞数 5
文章标签： zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zz06251998/article/details/119952389
版权

前言：在我们了解kafka为什么依赖zookeeper之前，首先要先知道zookeeper自身的一个基础架构和作用

“所有一切的努力都是为了自己的名字”

Zookeeper概念扫盲

基本概述

ZooKeeper是一个分布式协调服务，它的主要作用是为分布式系统提供一致性服务

数据结构

 ZooKeeper的数据存储也同样是基于节点，这种节点叫做Znode。每一个Znode里包含了数据、子节点引用、访问权限等.

  • data即Znode里面的数据
  • ACL为权限规则，它规定了哪些用户或哪些IP才有权限访问此Znode
  • stat记录了Znode相关的元数据，比如事务ID、版本号、时间戳、大小
  • child为当前节点的子节点引用，类似于二叉树的左孩子右孩子

ZooKeeper有个限制，就是每个Znode的数据大小不会超过1M。

节点类型

持久节点:在节点创建后，就一直存在，直到有删除操作来主动清除这个节点——不会因为创建该节点的客户端会话失效而消失。

持久顺序节点:(节点会自动加上编号)：额外的特性是，在ZK中，每个父节点会为他的第一级子节点维护一份时序，会记录每个子节点创建的先后顺序.

最低0.47元/天 解锁文章
Rosy Clouds丶霞
关注
  • 5
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
kafka：与zookeeper的联系是什么？
不花的花和尚的博客
10-05 7611
我们先看一张图，zookeeper的存储结构图： 可以看到在zookeeper中存储的信息有broker，consumer等重要znode信息。 可以感知到，每个kafka节点会在zookeeper中注册该机器的配置信息。 然后注册完的kafka节点的topic信息会存在topics目录下面。 根据zookeeper目录列表可以看到，zookeeper存储了kafka集群的所有信...
kafka和ZK的关系
qq_36042938的博客
02-22 781
创建broker后，向zk注册新的broker信息，以及监测 partition leader存活性，实现在服务器正常运行下的水平拓展，Topic的注册，zk会维护broker与topic的关系，通过/brokers/topics/topic.name节点来记录。只是能够提供当前broker的相关信息，Producer向zookeeper中注册watcher,了解topic的partition的消息，以动态了解运行情况，实现负载均衡。ZooKeeper充当了Kafka集群的协调者，确保集群的稳定运行。
kafka 集群为什么依赖 zookeeper ？
最新发布
将臣三代的博客
06-22 1044
在 Kafka 集群中，ZooKeeper 扮演了关键的角色，负责协调和管理 Kafka 的分布式系统。
为什么 Kafka 依赖 ZooKeeper？
L668303的博客
11-25 3771
一、ZooKeeper 简介 1.基本介绍 　　ZooKeeper 的官网是：Apache ZooKeeper。在官网上是这么介绍 ZooKeeper 的：ZooKeeper 是一项集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。 　　当我们编写程序的时候，通常会将所有的配置信息保存在一个配置文件中，例如账号、密码等信息，后续直接修改配置文件就行了，那分布式场景下如何配置呢？如果说每台机器上都保存一个配置文件，这时候要一台台的去修改配置文件难免出错，而且要管理这些机器也会变得复杂和困难
[kafka]kafka中的zookeeper是做什么的？
新一的技术笔记
08-29 3861
前言 ZooKeeper是什么？一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。 kafka中的zookeeper~ Kafka严重依赖于ZooKeeper集群。所有的broker在启动的时候都会往zookeeper进行注册，目的就是选举出一个controller，controller会读取注册上来的从节点的数据（通过监听机制），生成集群的元数据信息，
Kafka入门
04-25 4997
文章目录基础架构工作流程文件存储生产者生产者分区策略producer ack何时发送ack？生产者ACK策略数据一致性问题 基础架构 Producer ： 消息生产者，就是向 Kafka broker 发送消息的客户端； Consumer ： 消息消费者，向 Kafka broker 取消息的客户端； Consumer Group （CG）： 消费者组，由多个 consumer 组成。 消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。 所有的消费者都属
Kafka中Zookeeper的作用
一只慵懒的猫z的博客
04-11 1万+
ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现。分布式应用程序可以基于它实现统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等工作。在基于 Kafka 的分布式消息队列中，ZooKeeper 的作用有：broker 注册、topic 注册、producer 和 consumer 负载均衡、维护 partition 与 consumer 的关系、记录消息消费的进度以及 consumer 注册等。
转：kafka为什么抛弃zookeeper
guochaoHNU的博客
07-13 1526
kafka zookeeper
Zookeeper和Kafka的关系，为啥Kafka依赖Zookeeper
热门推荐
u011311291的博客
12-26 5万+
zookeeper和Kafka的关系 1.在Kafka的设计中，选择了使用Zookeeper来进行所有Broker的管理，体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点，节点路径为/brokers/ids 每个Broker服务器在启动时，都会到Zookeeper上进行注册，即创建/brokers/ids/[0-N]的节点，然后写入IP，端口等信息，Broker创建的...
kafka — 2、基础环境搭建
小小小猿
12-30 1276
kafka的运行依赖于zooKeeper，所以在搭建kafka的环境之前需要搭建zookeeper环境。ZooKeeper是一个分布式协调服务，它的主要作用是为分布式系统提供，可以保证，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。
Kafka目前所用依赖
cai_and_luo的博客
06-18 4468
Kafka目前所用依赖 还会跟新，每条依赖的作用会跟新 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope> </dep
kafka依赖_kafka的基本介绍、架构
weixin_39930748的博客
11-19 543
一、kafka的基本介绍kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。最初由linkedin公司开发，使用scala语言编写，Kafka is a distributed,partitioned,replicated commit logservice。kafka对消息保存时根据Topic进行归类，发送消息者成为Pr...
kafka依赖_蘑菇街千亿级消息Kafka上云实践
weixin_39926739的博客
11-20 193
Apache Kafka 简介Apache Kafka官网用这样一句话描述最新版本的Kafka：A distributed streaming platform。即分布式流式计算平台，并对其做了如下阐述：Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalab...
kafka中zk的作用
maoyeqiu的专栏
10-24 7010
zk相当于是kafka的一个基础设施，了解zk在kafka中的作用，可以对kafka的原理有进一步的了解，现在就开始学习这块的内容，首先从controller看起，这是zk中一个重要的组成：Controller 作为 Kafka Server端一个重要的组件，它的角色类似于其他分布式系统Master的角色，跟其他系统不一样的是，Kafka集群的任何一台Broker都可以作为Controller，但...
zk在kafka集群中有何作用？
nihaoajgpy的博客
08-02 395
kafka集群中所有的broker信息、topic和partition的状态信息都会存储在zk节点上，当新的broker节点加入到集群或者topic和partition信息发生变化时，kafka会将这些信息存储到zk中。kafka中的消费者组信息、消费者offset信息都会存储在zk中，当消费者加入或者退出一个消费者组时，zk都会负责重新分配partition给消费者，并且跟进新的offset信息。kafka需要注册到一个zk集群中，已实现集群元数据管理和控制。二、zk在kafka集群中的作用。
kafka依赖zookeeper原因解析及应用场景
weixin_30270561的博客
03-12 819
kafka简介： kafka是一个发布订阅消息系统，由topic区分消息种类，每个topic中可以有多个partition，每个kafka集群有一个多个broker服务器组成，producer可以发布消息到kafka中，consumer可以消费kafka中的数据。kafka就是生产者和消费者中间的一个暂存区，可以保存一段时间的数据保证使用。 kafka+zookeeper zookeeper...
使用kafka还在依赖Zookeeper，kraft模式了解下
鸢尾_的博客
08-30 1430
使用kafka还在依赖Zookeeper，kraft模式了解下
关闭kafka需要先关zookeeper吗？
03-11
关闭 Kafka 不需要先关闭 Zookeeper。但是，如果你关闭了 Zookeeper，Kafka 将无法正常工作。因为 Kafka 依赖于 Zookeeper 来管理其集群状态和元数据。因此，在关闭 Kafka 之前，你需要确保 Zookeeper 仍在运行。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值