kafka
文章平均质量分 80
Garry1115
关注微信公众号“虾米聊吧”,获取更多技术知识干货,一起交流,一起学习~
展开
-
Kafka集群搭建
Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样一些问题:我想分析一下用户行为(pageviews),以便我能设计出更好的广告位;我想对用户的搜索关键词进行统计,分析出前的流行趋势;有些数据,存数据库浪费,直接存硬盘操作效率又低;这个时候,就可以用消息系统了,尤其是分布式消息系统;另外: 在很多常见的大数据处理场景原创 2017-03-12 19:40:35 · 1605 阅读 · 0 评论 -
Kafka消息处理与集群维护
磁盘重认识 当需要从磁盘读取数据时,要确定读的数据在哪个磁道,哪个扇区:首先必须找到柱面,即磁头需要移动对准相应磁道,这个过程叫做寻道,所耗费时间叫做寻道时间;然后目标扇区旋转到磁头下,这个过程耗费的时间叫做旋转时间;一次访盘请求(读/写)完成过程由三个动作组成寻道(时间):磁头移动定位到指定磁道;旋转延迟(时间):等待指定扇原创 2017-03-12 19:47:13 · 1891 阅读 · 0 评论 -
kafka重复消费问题
开篇提示:kafka重复消费的根本原因就是“数据消费了,但是offset没更新”!而我们要探究一般什么情况下会导致offset没更新?今天查看Elasticsearch索引的时候发现有一个索引莫名的多了20w+的数据,顿时心里一阵惊讶,然后赶紧打开订阅服务的日志(消费者),眼前的一幕让我惊呆了,我的消费服务的控制台一直在不断的刷着消费日志(刚开始我并没有意识到这是重复消费造成的),我还傻傻的以...原创 2018-10-22 10:33:14 · 16721 阅读 · 0 评论 -
kafka自动提交offset失败:Auto offset commit failed
今天在服务日志中观察数据的消费情况时,发现了一个如下的警告,而且每隔几秒就会出现一次,虽然只是个警告, Auto offset commit failed for group order_group: Commit cannot be completed since the group has already rebalanced and assigned the partitions...原创 2018-10-22 10:36:55 · 30659 阅读 · 2 评论