揭秘kafka消费者三(再均衡监控器)

本篇文章介绍:再均衡监控器,从特定偏移量处开始处理记录,退出,反序列化器,独立消费者。

再均衡监控器

将在如下几个方面介绍在均衡监控器:

  1. 定义:监听失去分区所有权或获取分区所有权;
  2. 方案:通过subscribe()方法进行监听。参数:ConsumerRebalanceListener实例;
  3. ConsumerRebalanceListener:需要实现两个方法
    3.1:onPartitionsRevoked:在再均衡开始之前和消费者停止读取消息之后被调用,用来提交偏移量;
    3.2:onPartitionsAssigned:在重新分配分区之后和消费者开始读取消息之前被调用。
  4. 代码:
    4.1:实现ConsumerRebalenceListener
    4.2:获取新分区后开始读取消息,不需要做其他事情
    4.3:发生在分区均衡,要在即将失去分区所有权的时候提交偏移量
    4.4:通过subscribe()方法绑定监听器
    在这里插入图片描述
    在这里插入图片描述

从特定偏移量处开始处理记录

有两种方式从特定偏移量开始处理记录:
1:seekToBeginning:从分区开始位置读取消息
2:seekToEnd:从分区末尾开始读取数据

如何退出

有两种方式进行退出:
1:wakeup():调用consumer的wakeup()方法,让消费者退出
2:close():

  1. 提交任何还没有提交的东西-偏移量
  2. 向群组协调器发送消息,告知自己要离开群组
  3. 触发再均衡,而不需要等待会话超时

反序列化器

存在两种方式进行反序列化:
1:自定义反序列化器。
2:使用avro反序列化。下面演示avro反序列化:

  1. 使用KafkaAvroDeserializer来反序列化Avro消息
  2. 指向schemal的存放位置
  3. 将生成的类Customer作为值类型
  4. record.value()返回的是一个customer实例,接下来就可以使用了

在这里插入图片描述

独立消费者

从如下几方面介绍独立消费者:
1:使用场景:

  1. 一个消费者从一个主题的所有分区读取数据
  2. 读取特定分区

2:特点:

  1. 不会发生再均衡
  2. 新增分区不会受到消息

3:解决方案:消费者自己分配分区

以上就是我对kafka再均衡监控器,从特定偏移量处开始处理记录,退出,反序列化器,独立消费者的理解,哪里说的不对,还请赐教!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值