![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
zl@word_id
这个作者很懒,什么都没留下…
展开
-
Kafka_04 架构深入-zookeeper
3.4 Kafka高效读写数据 1)顺序写磁盘 Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端,为顺序写。官网有数据表明,同样的磁盘,顺序写能到 600M/s,而随机写只有 100K/s。这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁头寻址的时间。 2)零复制技术 正常的读取文件:先将文件读进操作系统(kernel space),然后到用户空间(user space,即代码),然后再由用户空间到操作系统层(代码无法直接操作文件,操作系统底层原创 2020-12-05 17:32:36 · 119 阅读 · 0 评论 -
Kafka_03 架构深入-消费者
3.3 Kafka 消费者 3.3.1 消费方式 consumer 采用 pull(拉)模式从 broker 中读取数据。 push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由 broker 决定的。它的目标是尽可能以最快速度传递消息,但是这样很容易造成 consumer 来不及处理消息,典型的表现就是拒绝服务以及网络拥塞。而 pull 模式则可以根据 consumer 的消费能力以适 当的速率消费消息。 pull 模式不足之处是,如果 kafka 没有数据,消费者可能会陷入循环中,一直返回原创 2020-11-01 22:00:31 · 81 阅读 · 0 评论 -
Kafka_02 架构深入-生产者
第3章 Kafka架构深入 3.1 Kafka 工作流程及文件存储机制 工作流程: Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己消原创 2020-10-31 23:47:07 · 112 阅读 · 0 评论 -
Kafka_01-概述、常用命令行
参考:尚硅谷Kafka教程 第1章 Kafka概述 1.1 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。 1.2 消息队列 1.2.1 传统消息队列的应用场景 使用消息队列的好处 1)解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2)可恢复性 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。 3)原创 2020-10-26 22:33:03 · 70 阅读 · 0 评论 -
Kafka集群搭建(生产环境)
1、主机历史版本清理 因服务器之前安装过zookeeper和kafka,不确定是否会对新装服务产生影响,为避免对新装集群产生冲突,故将原来文件备份到其他服务器,然后本机删除。 原有路径:各主机均在 /data/opt/下 备份路径:xx.xxx.xx.xxx:/data/******/kafka_bak/ 2、安装包下载 本次下载zookeeper版本为3.4.14,Kafka版本为2.12-2.5.1 Zookeeper下载路径:https://mirrors.cnnic.cn/apache/zookee原创 2020-09-21 22:40:37 · 516 阅读 · 0 评论