大数据~~kafka
一尘在心
这个作者很懒,什么都没留下…
展开
-
CDH6.3 集群安装Kafka服务步骤以及问题解决方法
https://blog.csdn.net/weixin_40040107/article/details/103242611原创 2020-01-03 12:04:06 · 2298 阅读 · 0 评论 -
kafka重复消费问题--consumer消费能力很低
问题描述 采用kafka读取消息进行处理时,consumer会重复读取afka队列中的数据,使用命令查看kafka消费数据时,发现待消费数据一直没变。问题原因 kafka的consumer消费数据时首先会从broker里读取一批消息数据进行处理,处理完成后再提交offset。而项目中的consumer消费能力比较低,导致取出的一批数据在session.timeout.ms时间内没有处理完成,自动提...原创 2018-06-07 14:10:26 · 1947 阅读 · 1 评论 -
Kafka史上最详细原理总结
Kafka Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Li...转载 2018-07-17 09:20:34 · 795 阅读 · 0 评论 -
kafka详解
Kafka的基本介绍Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是:日志收集系统和消息系统。Kafka主要设计目标如下:以时间复杂度为O(1)的方...原创 2018-07-16 10:00:31 · 287 阅读 · 0 评论 -
kafka 史上最全的资源
Kafka简介、基本原理、执行流程与使用场景 https://blog.csdn.net/xlgen157387/article/details/77266719 各消息队列对比,Kafka深度解析 https://blog.csdn.net/allthesametome/article/details/47362451 Apache Kafka:下一代分布式消息系统 htt...原创 2018-09-06 17:21:43 · 628 阅读 · 0 评论 -
kafka核心原理及优化措施
一、基本概念 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。 这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行,可以由一...原创 2018-12-28 15:33:09 · 593 阅读 · 0 评论 -
Kafka学习之路 (一)Kafka的简介
目录 一、简介 1.1 概述 1.2 消息系统介绍 1.3 点对点消息传递模式 1.4 发布-订阅消息传递模式 二、Kafka的优点 2.1 解耦 2.2 冗余(副本) 2.3 扩展性 2.4 灵活性&峰值处理能力 2.5 可恢复性 2.6 顺序保证 2.7 缓冲 2.8 异步通信 三、常用Message Queue对比 3.1...转载 2019-07-24 20:10:04 · 154 阅读 · 1 评论 -
Kafka学习之路 (二)Kafka的架构
目录 一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee 正文 回到顶部 一、Kafka的架构 如上图所示,一个典型的Kafka集群中包含若干Producer(可以是web前端产生的Page View,或者是服务器...转载 2019-07-24 20:50:33 · 143 阅读 · 0 评论