每个分区只能由同一个消费者组内的一个 Consumer 实例来消费
Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程,
也可以是同一进程下的线程。在实际场景中,使用进程更为常见一些。
Consumer Group 下所有实例订阅的主题的单个分区,只能分配给组内的某个 Consumer 实例消费。
这个分区当然也可以被其他的 Group 消费。
如果所有实例都属于同一个 Group,那么它实现的就是消息队列模型;
如果所有实例分别属于不同的 Group,那么它实现的就是发布 / 订阅模型。
理想情况下,Consumer 实例的数量应该等于该 Group 订阅主题的分区总数。
消费者在消费的过程中需要记录自己消费了多少数据,即消费位置信息。
在 Kafka 中,这个位置信息有个专门的术语:位移(Offset)。
首先,Rebalance 过程对 Consumer Group 消费过程有极大的影响。如果你了解 JVM 的垃圾回收机制,
你一定听过万物静止的收集方式,即著名的 stop the world,简称 STW。在 STW 期间,
所有应用线程都会停止工作,表现为整个应用程序僵在那边一动不动。Rebalance 过程也和这个类似,
在 Rebalance 过程中,所有 Consumer 实例都会停止消费,
等待 Rebalance 完成。这是 Rebalance 为人诟病的一个方面。