深入浅出理解kafka原理系列之:Controller、rebalance、HW和LEO
一、Controller
kafka每个broker启动时会向zk创建一个临时序号节点,获得的序号最小的那个broker将会作为集群中的controller,负责以下事情:
- 当集群中有一个副本的leader挂掉,需要在集群中选举出一个新的leader,选举的规则是从isr集合中最左边获得。
- 当集群中有broker新增或减少,controller会同步信息给其他broker
- 当集群中有分区新增或减少,controller会同步信息给其他broker
二、rebalance机制
-
前提:消费组中的消费者没有指明分区来消费
-
触发的条件:当消费者组中的消费者和分区的关系发生变化的时候
-
分区分配的策略:在rebalance之前,分区怎么分配会有三种策略
-
range:根据公式计算得到每个消费者消费哪几个分区:前面的消费者是分区总数/消费者数量+1,之后的消费者是分区总数/消费者数量