Kafka-服务端-GroupCoordinator

在每一个Broker上都会实例化一个GroupCoordinator对象，Kafka按照Consumer Group的名称将其分配给对应的GroupCoordinator进行管理；

每个GroupCoordinator只负责管理Consumer Group的一个子集，而非集群中全部的Consumer Group。

请注意与KafkaController以及副本机制中的主从模式的区别。

GroupCoordinator有几项比较重要的功能：

一是负责处理JoinGroupRequest和SyncGroupRequest完成Consumer Group中分区的分配工作；

二是通过GroupMetadataManager和内部Topic“Offsets Topic”维护offset信息，即使出现消费者宕机也可以找回之前提交的offset;

三是记录Consumer Group的相关信息，即使Broker宕机导致Consumer Group由新的GroupCoordinator进行管理，新GroupCoordinator也可以知道Consumer Group中每个消费者负责处理哪个分区等信息；

四是通过心跳消息检测消费者的状态。

GroupCoordinator中使用MemberMetadata记录消费者的元数据，MemberMetadata中各字段的含义和功能如下所述。

• memberld:对应消费者的id,此值是由服务端的GroupCoordinator分配的。
• groupld:记录消费者所在的Consumer Group的id。
• assignment:Array[Byte]类型，记录了分配给当前Member的分区信息。
• supportedProtocols:对应消费者支持的PartitionAssignor。
• awaitingJoinCallback:与JoinGroupRequest相关的回调函数，后面详述。
• awaitingSyncCallback:与SyncGroupRequest相关的回调函数，后面详述。
• sessionTimeoutMs:心跳超时时间。
• latestHeartbeat:最后一次收到心跳消息的时间戳。
• isLeaving:标识对应消费者是否已经离开了Consumer Group。

MemberMetadata.vote方法提供了从给定候选PartitionAssignor中选择消费者支持的PartitionAssignor的功能。

GroupMetadata记录了Consumer Group的元数据信息，其字段的含义如下所述。

• groupld:对应Consumer Group的id。
• members:HashMap[String,MemberMetadata]类型，key是memberld,value是对应的MemberMetadata对象。
• state:GroupState类型，标识当前Consumer Group所处的状态。
• generationld:标识当前Consumer Group的年代信息，避免受到过期请求的影响。
• leaderld:记录Consumer Group中的Leader消费者的memberld。
• protocol:记录了当前Consumer Group选择的ParitionAssignor。
  在GroupMetadata中提供了对上述字段的操作，例如对members集合的增删、对state的切换。GroupMetadata在进行Member的增删操作时，还会顺便选择Group Leader: