kafka
文章平均质量分 55
zhangxl-jc
这个作者很懒,什么都没留下…
展开
-
Spark Structured Streaming + Kafka +Json
Spark Structured Streaming + Kafka +Json。原创 2022-09-13 17:54:22 · 590 阅读 · 0 评论 -
Kafka没有即时消费数据 并且频繁出现自动负载均衡下线上线消费实例的现象
问题分析:1.由于客户反馈实时监控,会出现延迟10秒左右的样子,经过排查实例日志没有发现任何报错;消费者实例所在机器不存在负载过高的情况,处理逻辑的下游和上游也没有出现性能瓶颈;2.查看kafkaManager跟踪kafka消费实例的实时lag值;发现会循环的出现消费完全之后挤压四五百条然后又消费完全的情况,同时出现消费者实例频繁切换的情况;3.由于没找到原因又继续 tail -f 消费者的实例的日志(每当收到数据时打印下日志)同时查看Lag值;发现每当挤压四五百条时,就会出现停止打印接收数据的原创 2020-08-13 13:53:33 · 1869 阅读 · 0 评论 -
kafka 笔记
1)max.in.flight.requests.per.connection=1尽可能保证分区内的数据顺序和同一生产者发送的顺序一致;2)partition.assignment.strategy=class org.apache.kafka.clients.consumer.StickyAssignor消费者示例发生负载均衡后,原本消费者编号1消费为分区0可能更改为消费分区1,此参数有利于同一分区具有因果关系的数据;3)对于根据key指定分区发送的数据如果需要调整分区数,为了保证消费有.原创 2021-03-23 20:00:46 · 163 阅读 · 0 评论