消费者组介绍

每个分区只能由同一个消费者组内的一个 Consumer 实例来消费

Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程,

也可以是同一进程下的线程。在实际场景中,使用进程更为常见一些。

Consumer Group 下所有实例订阅的主题的单个分区,只能分配给组内的某个 Consumer 实例消费。

这个分区当然也可以被其他的 Group 消费。

如果所有实例都属于同一个 Group,那么它实现的就是消息队列模型;

如果所有实例分别属于不同的 Group,那么它实现的就是发布 / 订阅模型。

理想情况下,Consumer 实例的数量应该等于该 Group 订阅主题的分区总数。

消费者在消费的过程中需要记录自己消费了多少数据,即消费位置信息。

在 Kafka 中,这个位置信息有个专门的术语:位移(Offset)。

首先,Rebalance 过程对 Consumer Group 消费过程有极大的影响。如果你了解 JVM 的垃圾回收机制,

你一定听过万物静止的收集方式,即著名的 stop the world,简称 STW。在 STW 期间,

所有应用线程都会停止工作,表现为整个应用程序僵在那边一动不动。Rebalance 过程也和这个类似,

在 Rebalance 过程中,所有 Consumer 实例都会停止消费,

等待 Rebalance 完成。这是 Rebalance 为人诟病的一个方面。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

scan724

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值