深入浅出理解kafka原理系列之：Controller、rebalance、HW和LEO

最新推荐文章于 2024-07-17 17:09:21 发布
最新推荐文章于 2024-07-17 17:09:21 发布
阅读量750 收藏
点赞数
分类专栏： 日常分享专栏 Kafka 文章标签： kafka 深入理解kafka原理 Controller rebalance HW和LEO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/122000470
版权
本文深入探讨了Kafka的Controller角色，解释了其在选举新leader、集群动态变化时的角色。接着，介绍了rebalance机制，包括触发条件和分区分配策略。最后，阐述了HW和LEO的概念，强调它们在确保消息不丢失中的关键作用。
摘要由CSDN通过智能技术生成

深入浅出理解kafka原理系列之：Controller、rebalance、HW和LEO

一、Controller

kafka每个broker启动时会向zk创建一个临时序号节点，获得的序号最小的那个broker将会作为集群中的controller，负责以下事情：

  • 当集群中有一个副本的leader挂掉，需要在集群中选举出一个新的leader，选举的规则是从isr集合中最左边获得。
  • 当集群中有broker新增或减少，controller会同步信息给其他broker
  • 当集群中有分区新增或减少，controller会同步信息给其他broker

二、rebalance机制

  • 前提：消费组中的消费者没有指明分区来消费

  • 触发的条件：当消费者组中的消费者和分区的关系发生变化的时候

  • 分区分配的策略：在rebalance之前，分区怎么分配会有三种策略

  • range：根据公式计算得到每个消费者消费哪几个分区：前面的消费者是分区总数/消费者数量+1，之后的消费者是分区总数/消费者数量

了解本专栏 订阅专栏 解锁全文 超级会员免费看
最笨的羊羊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
第12课：深入解读基于 Kafka 和 ZooKeeper 的分布式消息队列原理
Jin_Kwok的博客
10-28 337
分布式消息队列是互联网领域广泛应用的中间件，在上一课中，我已经介绍了基于 Kafka、ZooKeeper 的分布式消息队列系统的搭建步骤，以及 Java 客户端的使用方法。 对于商业级消息中间件来说，可靠性至关重要，那么，Kafka 是如何确保消息生产、传输、存储及消费过程中的可靠性的呢？本文将从 Kafka 的架构切入，解读 Kafka 基本原理，并对其存储机制、复制原理、同步原理、可靠性和持久...
Kafka学习笔记九：kafka集群中controller,rebalance,HW
weixin_45020617的博客
01-17 202
1.controller 集群中谁来充当controller kafka集群中的broker在zookeeper中创建的临时序号节点，序号最小的节点（最先创建的节点）将作为集群的controller，负责管理整个集群中的所有分区和副本的状态 当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本 当检测到某个分区的ISR集合发生变化时，由控制器负责通知所有broker更新其元数据信息 当使用kafka-topics.sh脚本为某个topic增加分区数量时，同样还是由控
kafka集群中的controller、rebalance、HW
qq_49723651的博客
11-01 331
文章目录1.controller2.rebalance机制3.HW和LEO 1.controller 每个broker启动时会向zk创建⼀个临时序号节点，获得的序号最⼩的那个broker将会作为集群中的controller，负责这么⼏件事： 当集群中有⼀个副本的leader挂掉，需要在集群中选举出⼀个新的leader，选举的规则是从isr集合中最左边获得。 当集群中有broker新增或减少，controller会同步信息给其他broker。 当集群中有分区新增或减少，controller会同步信息给其他b
Kafka（13）Kafka集群中Controller、Rebalance和HW、LEO说明
учёба
01-27 398
一：Controller Controller推选： Kafka集群中的broker在zk中创建临时序号节点，序号最小的节点（最先创建的节点)将作为集群的controller（ 也就是说：在集群中的所有的broker启动的时候，都会去向zookeeper创建一个临时序号结点，谁最小谁就是controller） Controller的作用：负责管理整个集群中的所有分区和副本的状态: 当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。(当集群中有一个副本的leader
KafkaController机制（十二）：KafkaController初始化与故障转移
lianggx3的博客
09-26 1752
在kakfa的集群中，只有一个Controller能够成为Leader管理整个集群，而其他未成为ControllerLeader的Broker也会创建一个KafkaController对象，他们唯一能做的事情就是当leader发生故障的时候竞争成为新的Controller。 KafkaController的启动和故障转移的过程与ZookeeperLeaderElector有着密切的关系，Zooke...
Kafka之Controller(Broker的领导者)
cainiao1412的博客
06-27 2136
在Kafka集群中，某个Broker将被选举出来担任一种特殊的角色，其用于管理和协调Kafka集群，即管理集群中的所有分区的状态并执行相应的管理操作。每个Kafka集群任意时刻都只能有一个Controller。当集群启动时，所有Broker都参与Controller的竞选，最终有一个胜出，一旦Controller在某个时刻崩溃，集群中的其他的Broker会收到通知，然后开启新一轮的Controller选举，新选举出来的Controller将承担起之前Controller的所有工作。Controller维护的
深入剖析Kafka设计原理：如何构建高效的消息系统
12-25
《深入剖析Kafka设计原理：如何构建高效的消息系统》 Kafka是一款强大的分布式消息系统，以其高效、可扩展和容错性而广受赞誉。...对这些原理的深入理解有助于我们更好地设计和优化Kafka系统，满足各种业务需求。
大数据之Kafka（三）：Kafka 与 Flume的整合及架构之道
Oak_Komorebi的博客
08-21 1878
一、Kafka和Flume的整合 1.1 部署实施 Flume主要是做日志数据（离线或实时）的采集。 下图显示的是flume采集完毕数据之后，进行的离线处理和实时处理两条业务线，本文将介绍flume和kafka的整合处理。 创建整合的topic # kafka-topics.sh --create \ --topic flume-kafka \ --zookeeper bigdata01:2181/kafka \ --partitions 3 \ --replication-factor 3.
Kafka设计原理详解
Forrest Gump的博客
06-19 361
在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它负责管理整个集群中所有分区和副本的状态。在kafka集群启动的时候，会自动选举一台broker作为controller来管理整个集群，选举的过程是集群中每个broker都会尝试在zookeeper上创建一个 /controller 临时节点，zookeeper会保证有且仅有一个broker能创建成功，这个broker就会成为集群的总控器controller。 当这个controlle
KafkaController 分区Rebalance平衡机制
happy19870612's blog
05-31 9894
private def checkAndTriggerPartitionRebalance(): Unit = {   if (isActive()) {     trace("checking need to trigger partition rebalance")     // 获取(存活的broker,AR副本集) => (2,Map([message,0]-> List(2,
Kafka系列之：Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []
zhengzaifeidelushang的博客
05-06 4116
Kafka系列之：Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []
深入浅出理解kafka原理系列之：发送消息的缓冲区机制buffer.memory、batch.size、linger.ms
zhengzaifeidelushang的博客
12-16 3621
深入理解kafka原理：发送消息的缓冲区机制buffer.memory、batch.size、linger.ms一、buffer.memory二、batch.size三、linger.ms kafka默认会创建一个消息缓冲区，用来存放要发送的消息，缓冲区是32M kafka本地线程会去缓冲区中一次拉16k的数据，发送到broker 如果线程拉不到16k的数据，间隔10ms也会将已拉到的数据发送到broker 一、buffer.memory 设置发送消息的本地缓冲区，如果设置了该缓冲区，消息会先发送到本
深入浅出理解kafka原理系列之：kafka消费者参数设置
zhengzaifeidelushang的博客
12-17 3517
深入理解kafka原理：kafka消费者参数设置1.max.poll.records2.max.poll.interval.ms3.enable.auto.commit4.heartbeat.interval.ms5.session.timeout.ms6.auto.offset.reset6.指定分区消费7.消息回溯消费8.指定offset消费9.指定时间点开始消费 1.max.poll.records 默认情况下，消费者一次会poll500条消息 一次poll到500条，就直接执行for循环 一次没有
Kafka系列之：Kafka生产者和消费者
zhengzaifeidelushang的博客
03-01 3295
Kafka系列之：Kafka生产者和消费者
深入浅出理解kafka原理系列之：自动提交和手动提交
zhengzaifeidelushang的博客
12-17 2800
深入理解kafka原理：自动提交和手动提交一、kafka消费者提交的内容二、自动提交三、自动提交代码示例四、手动提交五、手动同步提交代码示例六、手动异步提交代码示例 一、kafka消费者提交的内容 消费组+消费的某个主题+消费的某个分区及消费的偏移量 消费者无论是自动提交还是手动提交，都需要把所属的消费组+消费的某个主题+消费的某个分区及消费的偏移量，这样的信息提交到集群_consumer_offsets主题里面。 二、自动提交 //指定了消费者是否自动提交消费位移，默认为true。 // 如果需要减少
深入浅出理解kafka原理系列之：kafka延迟检测kafka_consumergroup_lag_sum
zhengzaifeidelushang的博客
01-05 2675
深入浅出理解kafka原理系列之：kafka延迟检测kafka_consumergroup_lag_sum kafka的jmx指标kafka_consumergroup_lag_sum kafka_consumergroup_lag_sum：查看kafka的topic消费积压的值 kafka_consumergroup_lag_sum{consumergroup=“optics-stg”,topic=“debezium-stg-optics”} 0 默认值500，消费者消费kafka topic产生消费
Kafka系列之：增加Kafka节点扩展Kafka集群
zhengzaifeidelushang的博客
08-26 1950
Kafka系列之：增加Kafka节点扩展Kafka集群
Kafka系列之：Kafka存储数据相关重要参数理解
最新发布
zhengzaifeidelushang的博客
07-17 1864
在Apache Kafka中，数据底层文件主要包括以下几种类型：这几个文件是Apache Kafka在存储和管理消息时使用的，以下是对每个文件的解释：
深入理解Kafka：架构原理与实战应用
"该资源为一份关于Kafka技术架构原理的分享PPT，内容包括Kafka的基本介绍、架构原理的深度解析、常见问题及其解决方案，以及...这份PPT将深入探讨Kafka的架构原理，帮助读者理解和掌握如何有效利用Kafka解决实际问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值