zhang09090606的博客

一、消息传输保障概念消息中间件的消息传输保障有以下三个层级( 1 ) at most once ：至多一次。消息可能会丢失，但绝对不会重复传输。 ( 2) at least once 最少一次。消息绝不会丢失，但可能会重复传输。 (3) exactly once ：恰好一次。每条消息肯定会被传输一次且仅传输一次。kafka中保障级别生产者kafka生产者提供的消息传输保障为 at least once，当生产者向 Kafka 发送消息时，一旦消息被成功提交到日志文...

一、简介我们知道Kafka中的消息是存储在磁盘上的， 那么为什么要使用磁盘作为存储介质？具体消息的存储格式又是什么呢？怎么样能够快速检索到指定的消息？消息不可能无限制存储， 那么清理规则又是什么呢？二、文件目录布局Kafka 中的消息是以主题为基本单位进行归类的， 各个主题在逻辑 上相互独立。 每个主题又可以分为一个或多个分区， 分区的数量可以在主题创建的时候指定， 也可以在之后修改。 每条消息在发送的时候会根据分区规则被追加到指定的分区中， 分区中的每条消息都会被分配一个唯一的序列号， .

一、简介关于主题和分区的基本规则在之前生产者一章的分区器中已经介绍过了https://blog.csdn.net/zhang09090606/article/details/115536102?spm=1001.2014.3001.5501，本章主要详解额外的知识点二、修改主题当一个主题被创建之后， 依然允许我们对其做一定的修改， 比如修改分区个数、 修改配置 等，1.修改/新增 topic 的分区kafka-topics --zookeeper hadoop004:218..

一、消费者和消费者组1.简介与生产者对应的是消费者， 应用程序可以通过KafkaConsumer来订阅主题， 并从订阅的topic中拉取消息。与其他一些消息中间件不同的是： 在Kaflca 的消费理念中还有一层消费组(Consumer Group) 的概念， 每个消费者都有一个对应的消费组。 当消息发布到主题后， 只会被投递给订阅它的每个消费组中的一个消费者如图所示， 某个主题中共有4个分区(Part山on): PO、 Pl 、 P2、 P3。 有两个消费组A和B都订阅了这个主题， 消费.

一、生产者发送消息的过程1.包装ProducerRecord 对象Kafka 会将发送消息包装为 ProducerRecord 对象， ProducerRecord 对象包含了目标主题和要发送的内容，同时还可以指定键和分区。在发送 ProducerRecord 对象前，生产者会先把键和值对象序列化成字节数组，这样它们才能够在网络上传输。2.指定分区接下来，数据被传给分区器。如果之前已经在 ProducerRecord 对象里指定了分区，那么分区器就不会再做任何事情。如果没有指定分区 ，那么.

一、简介Apache kafka是消息中间件的一种,上一章已经有消息中间件的概述了，kafka主要就是Broker(消息服务器)部分提供消息核心服务kafka，ActiveMQ,RabbitMQ是当今最流行的分布式消息中间件，其中kafka在性能及吞吐量方面是三者中的佼佼者，官方将它的定义为一个分布式流媒体平台。kafka最主要有以下几个方面作用 1.发布和订阅记录流，类似于消息队列或企业消息传递系统。 2.以容错持久的方式存储记录流。 3。处理记录发生的流二、kafka...

转载：https://blog.csdn.net/wqc19920906/article/details/82193316/一、简介消息中间件是基于队列与消息传递技术，在网络环境中为应用系统提供同步或异步、可靠的消息传输的支撑性软件系统它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发RocketMQ等。二、消息中间件通用组.