浅析kafka

已于 2024-08-09 10:46:12 修改
阅读量567 收藏 20
点赞数 19
文章标签： kafka 分布式
于 2024-08-08 20:03:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzh_zzh_zxm/article/details/141020420
版权

1.为什么要使用消息队列？

  • 解耦

    • 不同的模块可以将消息发送到消息队列中，接收方可以独立地消费消息，实现了模块之间的解耦。

  • 异步

    • 将消息放入消息队列中，可以异步地处理这些操作，不影响主流程的执行

  • 削峰填谷

    • 使用消息队列作为缓冲区，将请求放入消息队列中，然后在系统负载低的时候进行处理

2.消息队列的实现

  • kafka、activeMQ、RabbitMQ和RocketMQ等

  • kafka的优势在于吞吐量高，易于使用和部署

3.kafka吞吐量高的原因

  • 消息发送方面

    • 批量发送：Kafka 通过将多个消息打包成一个批次，减少了网络传输和磁盘写入的次数

    • 消息压缩：支持对消息进行压缩，减少网络传输的数据量。

    • 并行发送：通过将数据分布在不同的分区（Partitions）中，生产者可以并行发送消息

  • 消息存储方面

    • 零拷贝技术：Kafka 使用零拷贝技术来避免了数据的拷贝操作，降低了内存和 CPU 的使用率

    • 页缓存：Kafka 将其数据存储在磁盘中，但在访问数据时，它会先将数据加载到操作系统的页缓存中，并在页缓存中保留一份副本，从而实现快速的数据访问。

  • 消息消费

    • 并行消费：不同的消费者可以独立地消费不同的分区，实现消费的并行处理。

    • 批量拉取：Kafka支持批量拉取消息，可以一次性拉取多个消息进行消费。减少网络消耗，提升性能

4.Kafka的架构

  • 主要由 Producer（生产者）、broker（Kafka集群）和 consumer（消费者） 组成。生产者负责将消息发布到Kafka集群中的一个或多个主题(Topic) 。消费者负责从Kafka集群中的一个或多个主题消费消息

  • 一个broker可以有多个topic，每个Topic包含一个或多个分区（Partition） ，Leader Broker 是分区的主副本 ，只有 Leader Broker 才能处理生产者和消费者的请求 ，Follower Broker 只是 Leader Broker 的备份，用于提供数据的冗余备份和容错能力

5.Kafka 的重平衡机制

  • Kafka 的重平衡机制

    • 在消费者组中新增或删除消费者时，Kafka 集群会重新分配主题分区给各个消费者，以保证每个消费者消费的分区数量尽可能均衡。

  • 当Kafka 集群要触发重平衡机制时

    • 在重平衡开始之前，Kafka 会暂停所有消费者的拉取操作

    • 计算分区分配方案

    • 分区分配方案确定之后，Kafka 集群会将分配方案发送给每个消费者，并请求它们重新加入消费者组。
    • Kafka 集群会重新分配主题分区给各个消费者。

    • Kafka 会恢复所有消费者的拉取操作

6.Kafka 消息的发送过程

  • Main线程创建消费者实例并执行发送逻辑到RecordAccumulator

  • RecordAccumulator起到了消息积累和批量发送的作用

  • sender线程会从RecordAccumulator的待发送队列中取出消息，发送到对应Partition 的 Leader Broker

7.ISR

  • 在Kafka中，每个主题分区可以有多个副本(replica)，ISR是与主副本（Leader Replica）保持同步的副本集合，用于确保数据的可靠性和一致性的。

  • 当消息被写入Kafka的分区时，它首先会被写入Leader，然后Leader将消息复制给ISR中的所有副本。只有当ISR中的所有副本都成功地接收到并确认了消息后，主副本才会认为消息已成功提交。

8.kafka的选举过程

  • Partition Leader 选举

    • Kafka 中的每个 Partition 都有一个 Leader，负责处理该 Partition 的读写请求

    • 在正常情况下，Leader 和 ISR 集合中的所有副本保持同步，Leader 接收到的消息也会被 ISR 集合中的副本所接收。

    • Leader 选举的过程如下：

      • 每个参与选举的副本会尝试向 ZooKeeper 上写入一个临时节点，并将自己的节点序列号写入该节点，节点序列号最小的副本会被选为新的 Leader，并将自己的节点名称写入 ZooKeeper 上的 /broker/.../leader 节点中。

  • Controller 选举

    • Kafka 集群中只能有一个 Controller 节点，用于管理分区的副本分配、leader 选举等任务。

    • Controller选举的过程如下

      • 当一个 Broker 发现 Controller 失效时，ZooKeeper会删除 /controller 节点，它会向 ZooKeeper 写入自己的 ID，并尝试竞选 Controller 的位置。如果他创建临时节点成功，则该 Broker 成为新的 Controller，并将选举结果写入 ZooKeeper 中。

        • 为了避免出现多个 Broker 同时竞选 Controller 的情况，Kafka 设计了一种基于 ZooKeeper 的 Master-Slave 机制，其中一个 Broker 成为 Master，其它 Broker 成为 Slave。Master 负责选举 Controller，并将选举结果写入 ZooKeeper 中，而 Slave 则监听 /controller 节点的变化，一旦发现 Master 发生故障，则开始争夺 Master 的位置。

9.高水位与Leader Epoch

  • 高水位

    • 高水位保证消费的可靠性，标识了一个特定的消息偏移量（offset），即一个分区中偏移量前代表已提交可以消费，所以消费者只能拉取到这个 offset 之前的消息

      • 消费者可以通过跟踪高水位来确定自己消费的位置。原理为消费者可以通过记录上一次消费的偏移量，然后将其与分区的高水位进行比较，来确定自己的消费进度

  •  Leader Epoch

    • Leader Epoch是一个递增的整数，每次副本切换时都会增加。它用于标识每个Leader副本的任期。

      • 用于标识每个Leader副本的任期，每个 Leader 任期都有一个唯一的 Leader Epoch 编号，确保新的 Leader 任期的编号总是比旧的 Leader 大

  •  Leader Epoch作用

    • 在分区副本切换过程中，新的Leader会检查旧Leader副本的Leader Epoch和高水位。只有当旧Leader副本的Leader Epoch小于等于新Leader副本的Leader Epoch，并且旧Leader副本的高水位小于等于新Leader副本的高水位时，新Leader副本才会接受旧Leader副本的数据，避免新的Leader副本接受旧Leader副本之后的消息（即避免避免数据回滚）

ipzzh
关注
  • 19
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
浅析Kafka实时数据处理系统
11-28 2614
Kafka是啥？用Kafka官方的话来说就是： Kafka is used for buildingreal-time datapipelines and streaming apps. It ishorizontally scalable,fault-tolerant,wicked fast, and runs in production in thousands of compa...
浅析Kafka Streams消息流式处理流程及原理
wuhao2343的博客
07-12 1104
结合案例：统计消息中单词出现个数来测试并说明kafka-stream消息流式处理的执行流程
【消息队列】浅析Kafka的特点及底层运行机制
weixin_45880263的博客
04-30 348
Kafka 官方文档：https://kafka.apache.org/documentation/#introduction 一、什么是Kafka Kafka是一种基于发布/订阅模式的分布式消息队列。它是用scala语言实现的，通信1）基于TCP；2）基于Client/Server 【发布订阅】 支持一对多，即一个消息可同时被多个消费者消费 延申：一对一的模式指一个消息仅能被一个消费者消费 【分布式】 kafka以集群的方式存在 【消息队列】 相当于生产者和消费者之间的消息中转站。
浅析kafka与集群安装
mao_2110901055的专栏
05-28 675
Kafka介绍 Kafka是什么 kafka的核心概念由分布式、高吞吐量的消息引擎转变成为分布式的流式处理平台。 kafka是如何做到分布式的 kafka本身做成了无状态的机制，而所有状态信息，如集群的节点、topic、分区等信息均由zookeeper进行管理，而zookeeper本身是分布式的 kafka是如何做到高吞吐量的 kafka在底层摒弃了Java的堆缓存机制，采...
四、浅析kafka状态机
Coding fly的博客
11-29 2453
此文章基于kafka2.5 kafka状态机有两种，一种是ReplicaStateMachine副本状态机，另一种是PartitionStateMachine分区状态机，下面我们就来分别介绍一下 状态机启动的入口kafka.controller.KafkaController#onControllerFailover 在服务端controller选举之后会启动状态机 private def onControllerFailover(): Unit = { //……省略 replicaSt.
浅析Kafka Streams中KTable.aggregate()方法的使用
wuhao2343的博客
07-12 985
方法是 Kafka Streams 中进行状态化聚合的关键，它允许你定义如何初始化和更新聚合状态，以及如何存储和管理这些状态。通过合理配置，你可以实现复杂的数据流处理需求，如累积计数、滑动窗口计算等。
kafka浅析
starkpan的博客
02-07 290
一、kafka官网 http://kafka.apache.org 二、kafka概述    Kafka是分布式、可分区、可复制的发布-订阅消息系统，由scala语言编写，apache项目的一部分。 kafka核心概念为：producer、consumer、broker、topic producer：发送消息者  consumer：消息接受者 broker：kafka集群由多个实例组成，...
Kafka源码剖析 —— 网络I/O篇 —— 浅析KafkaChannel、NetworkReceive、Send
Anur IjuoKaruKas的博客
08-07 1945
一、SocketChannel和KafkaChannel有什么区别？ 上篇文章说道KafkaSelector在创建一个连接的时候和普通的nioSelector并没有什么不同，它是基于nioSelector的封装。我们知道创建连接的一系列操作都是由Channel去完成，而KafkaChannel实际上就是对它的进一步封装： 　　 　　KafkaChannel不仅封装了SocketChannel...
Kafka源码剖析 —— 网络I/O篇 —— 浅析KafkaChannel
weixin_33716941的博客
09-14 204
为什么80%的码农都做不了架构师？>>> ...
浅析 Apache Kafka 分区重分配的实现原理
java_beautiful的博客
07-13 305
本文作者为中国移动云能力中心大数据团队软件开发工程师孙大鹏，本文结合 2.0.0 版本的 Kafka 源码，详细介绍了 Kafka 分区副本重分配的流程和逻辑，供大家参考。
浅析Spring-kafka源码——消费者模型的实现
WannaRunning的博客
06-17 2451
在使用Spring-kafka时，一般都是通过使用@KafkaListener注解的方法来实现消息监听和消费。今天写一下基于这个注解实现的消费端模型和实现的原理。
Flink 实战 - 9.Kafka 下发消息过大异常分析与 Kafka Producer 源码浅析
BITDDD小栈
09-13 2182
Flink / Kafka 下发消息过大异常分析与 Kafka Producer 源码浅析。
介绍一下KAFKA的ACK机制？
FIN技术铺掌柜的。
08-27 827
在Apache Kafka中，ACK（Acknowledgment）机制是用于确保消息被成功写入Kafka集群中并被复制（如果有启用复制功能）的重要部分。Kafka的ACK机制允许生产者（Producer）和消费者（Consumer）在消息传递过程中确认消息的状态，确保数据的可靠性和一致性。Kafka中消息的ACK级别可以在生产者配置中通过acks参数来指定。acks参数定义了生产者收到哪些确认时，一个生产请求才被认为是完成的。
window下kafka3启动多个
GSON的博客
08-28 1004
这里实际上是完全独立的环境，因为zookeeper都不一样，所以不存在集群，这里可改可不改。指定了ZooKeeper实例的地址和端口。因为刚才zookeeper的端口号改成了2182，所以。这里我们修改zookeeper配置文件，主要是快照地址和端口号，kafka3已经内置了zookeeper，所以直接复制就行了。指定了Kafka监听的端口，需要与第一个Kafka不同。我们先安装好kafka，并保证启动成功，可参考文章。指定了日志文件的存储位置。zookeeper的地址。并且端口号与第一个不同。
【kafa系列】kafka如何保证消息不丢失
xzb5566的专栏
08-27 515
【kafa系列】kafka如何保证消息不丢失Apache Kafka通过多种机制来确保消息不丢失，这些机制包括但不限于副本机制、ISR（In-Sync Replicas）机制、ACK（Acknowledgment）机制、幂等生产者（Idempotent Producer）、事务性发送（Transactional Messaging）以及持久化机制等。
Kafka【二】关于消费者组（Consumer Group）、分区（partition）和副本（replica）的理解
小小默：进无止境
08-28 1550
Apache Kafka 是一个分布式流处理平台，它允许你发布和订阅记录流，存储记录流，并且可以对这些记录流进行处理。在 Kafka 中，消息被发布到特定的主题（topic），然后由消费者（consumer）订阅并消费这些消息。消费者组（Consumer Group）是 Kafka 中的一个重要概念，它用于管理多个消费者的负载均衡以及故障恢复。消费者组是由多个消费者实例（Consumer Instances）组成的一个逻辑组。这些消费者实例共同工作，以协作的方式消费Kafka主题（Topic）中的消息。Ka
Kafka【四】Controller的选举机制
最新发布
小小默：进无止境
08-29 947
Kafka是分布式消息传输系统，所以存在多个Broker服务节点，但是它的软件架构采用的是分布式系统中比较常见的主从（Master - Slave）架构，也就是说需要从多个Broker中找到一个用于管理整个Kafka集群的Master节点，这个节点，我们就称之为Controller。它是Apache Kafka的核心组件非常重要。它的主要作用是在Apache Zookeeper的帮助下管理和协调控制整个Kafka集群。
Kafka【三】Windows下安装Kafka集群
小小默：进无止境
08-28 923
如果启动过程报错，主要是因为zookeeper和kafka的同步问题，请先执行cluster-clear.cmd文件，再执行cluster.cmd文件即可。集群启动命令后，会打开多个黑窗口，每一个窗口都是一个kafka服务，请不要关闭，一旦关闭，对应的kafka服务就停止了。因为kafka内置了ZooKeeper软件，所以此处将解压缩的文件作为ZooKeeper软件使用。将kafka1文件夹复制两份，改名为kafka2，kafka3。修改文件夹名为kafkazookeeper。
Kafka 2.0 官方文档概览
"Kafka2.0文档，涵盖了从入门到高级的全面知识，包括API、配置、设计、实施、运营、安全以及Kafka Connect和Kafka Streams的使用和开发" Kafka是一个分布式流处理平台，广泛应用于大数据实时处理、日志收集、消息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值