一篇文章搞清楚Kafka选举机制

Kafka选举

• 控制器（Broker）选主
• 分区多副本选主
• 消费组选主

控制器（Broker）选举

缓存代理，broker在一个kafka集群中，一台机器就是一个Broker。Broker之间需要选举出一个leader，其他的broker充当follower角色。

启动时选举

集群中第一个启动的broker会通过在zookeeper中创建临时节点/controller来让自己成为控制器，其他broker启动时也会在zookeeper中创建临时节点，但是发现节点已经存在，其他broker就会在zookeeper中创建watch对象，便于它们收到控制器变更的通知。

leader异常选举

那么如果broker由于网络原因与zookeeper断开连接或者异常退出，那么其他broker通过watch收到控制器变更的通知，就会去尝试创建临时节点/controller，如果有一个broker创建成功，那么其他broker就会收到创建异常通知，也就意味着集群中已经有了控制器，其他broker只需创建watch对象即可。

follower异常

如果集群中有一个broker发生异常退出了，那么控制器就会检查这个broker是否有分区的副本leader，如果有那么这个分区就需要一个新的leader，此时控制器就会去遍历其他副本，决定哪一个成为新的leader，同时更新分区的ISR集合。

broker加入

如果有一个broker加入集群中，那么控制器就会通过Broker ID去判断新加入的broker中是否含有现有分区的副本，如果有，就会从分区副本中去同步数据。

epoch