Kafka API

最新推荐文章于 2024-05-06 22:17:06 发布
最新推荐文章于 2024-05-06 22:17:06 发布
阅读量221 收藏 1
点赞数
分类专栏： Kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zmzdmx/article/details/110941565
版权

文章目录

第4章 Kafka API

4.1 Producer API

4.1.1 消息发送流程

Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。

image-20201209162513597

相关参数：

batch.size：只有数据积累到batch.size之后，sender才会发送数据。

linger.ms：如果数据迟迟未达到batch.size，sender等待linger.time之后就会发送数据。

4.1.2 异步发送API

1）导入依赖

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka-clients</artifactId>
  <version>2.0.0</version>
</dependency>

需要用到的类：

KafkaProducer：需要创建一个生产者对象，用来发送数据

ProducerConfig：获取所需的一系列配置参数

ProducerRecord：每条数据都要封装成一个ProducerRecord对象

（1）不带回调函数的API

package nj.zb.kb09;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class CustomProducer {
    public static void main(String[] args) {
        Properties prop=new Properties();
        prop.put("bootstrap.servers","192.168.83.102:9092");//kafka集群
        prop.put("acks","all");
        prop.put("retries",1);//重试次数
        prop.put("batch.size",16384);//批次大小
        prop.put("linger.ms",1);//等待时间
        prop.put("buffer.memory",33554432);//RecordAccumulator缓冲区大小
        prop.put("key.serializer", StringSerializer.class);
        prop.put("value.serializer",StringSerializer.class);

        Producer<String,String> producer=new KafkaProducer<String, String>(prop);
        for (int i = 0; i < 100; i++) {
            producer.send(new ProducerRecord("first","hello world"+i));
        }
        producer.close();
    }
}

（2）带回调函数的API

回调函数会在producer收到ack时调用，为异步调用，该方法有两个参数，分别是RecordMetadata和Exception，如果Exception为null，说明消息发送成功，如果Exception不为null，说明消息发送失败。

注意：消息发送失败会自动重试，不需要我们在回调函数中手动重试。

package nj.zb.kb09;

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class CustomProducer {
    public static void main(String[] args) {
        Properties prop=new Properties();
        prop.put("bootstrap.servers","192.168.83.102:9092");//kafka集群
        prop.put("acks","all");
        prop.put("retries",1);//重试次数
        prop.put("batch.size",16384);//批次大小
        prop.put("linger.ms",1);//等待时间
        prop.put("buffer.memory",33554432);//RecordAccumulator缓冲区大小
        prop.put("key.serializer", StringSerializer.class);
        prop.put("value.serializer",StringSerializer.class);

        Producer<String,String> producer=new KafkaProducer<String, String>(prop);
        for (int i = 0; i < 100; i++) {
            producer.send(new ProducerRecord("first", "hello world" + i, new Callback() {
                //回调函数，该方法会在Producer收到ack时调用，为异步调用
                @Override
                public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                    if (e==null){
                        System.out.println("success->"+recordMetadata.offset());
                    }else {
                        e.printStackTrace();
                    }

                }
            }));
        }
        producer.close();
    }
}

4.1.3 同步发送API

同步发送的意思就是，一条消息发送之后，会阻塞当前线程，直至返回ack。

由于send方法返回的是一个Future对象，根据Futrue对象的特点，我们也可以实现同步发送的效果，只需在调用Future对象的get方发即可。

package nj.zb.kb09;

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;
import java.util.concurrent.ExecutionException;

public class CustomProducer {
    public static void main(String[] args) throws ExecutionException, InterruptedException {
        Properties prop=new Properties();
        prop.put("bootstrap.servers","192.168.83.102:9092");//kafka集群
        prop.put("acks","all");
        prop.put("retries",1);//重试次数
        prop.put("batch.size",16384);//批次大小
        prop.put("linger.ms",1);//等待时间
        prop.put("buffer.memory",33554432);//RecordAccumulator缓冲区大小
        prop.put("key.serializer", StringSerializer.class);
        prop.put("value.serializer",StringSerializer.class);

        Producer<String,String> producer=new KafkaProducer<String, String>(prop);
        for (int i = 0; i < 100; i++) {
            producer.send(new ProducerRecord("first", "hello world" + i)).get();
        }
        producer.close();
    }
}

4.2 Consumer API

Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。

由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需要从故障前的位置的继续消费，所以consumer需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费。

所以offset的维护是Consumer消费数据是必须考虑的问题。

4.2.1 自动提交offset

1）导入依赖

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka-clients</artifactId>
  <version>2.0.0</version>
</dependency>

2）编写代码

需要用到的类：

KafkaConsumer：需要创建一个消费者对象，用来消费数据

ConsumerConfig：获取所需的一系列配置参数

ConsuemrRecord：每条数据都要封装成一个ConsumerRecord对象

为了使我们能够专注于自己的业务逻辑，Kafka提供了自动提交offset的功能。

自动提交offset的相关参数：

enable.auto.commit：是否开启自动提交offset功能
auto.commit.interval.ms：自动提交offset的时间间隔

以下为自动提交offset的代码：

package nj.zb.kb09;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.util.Collections;
import java.util.Properties;

public class CustomConsumer {
    public static void main(String[] args) {
        Properties prop=new Properties();
        prop.put("bootstrap.servers","192.168.83.102:9092");
        prop.put("group.id","test");
        prop.put("enable.auto.commit","true");
        prop.put("auto.commit.interval.ms","1000");
        prop.put("key.deserializer", StringDeserializer.class);
        prop.put("value.deserializer", StringDeserializer.class);

        KafkaConsumer<String,String> consumer=new KafkaConsumer<String, String>(prop);
        consumer.subscribe(Collections.singleton("first"));
        while (true){
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
        }
    }
}

4.2.2 手动提交offset

虽然自动提交offset十分简介便利，但由于其是基于时间提交的，开发人员难以把握offset提交的时机。因此Kafka还提供了手动提交offset的API。

手动提交offset的方法有两种：分别是commitSync（同步提交）和commitAsync（异步提交）。两者的相同点是，都会将本次poll的一批数据最高的偏移量提交；不同点是，commitSync阻塞当前线程，一直到提交成功，并且会自动失败重试（由不可控因素导致，也会出现提交失败）；而commitAsync则没有失败重试机制，故有可能提交失败。

1）同步提交offset

由于同步提交offset有失败重试机制，故更加可靠，以下为同步提交offset的示例。

package nj.zb.kb09;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.util.Collections;
import java.util.Properties;

public class CustomConsumer {
    public static void main(String[] args) {
        Properties prop=new Properties();
        prop.put("bootstrap.servers","192.168.83.102:9092");
        prop.put("group.id","test");//消费者组，只要group.id相同，就属于同一个消费者组
        prop.put("enable.auto.commit","false");//关闭自动提交offset
        prop.put("auto.commit.interval.ms","1000");
        prop.put("key.deserializer", StringDeserializer.class);
        prop.put("value.deserializer", StringDeserializer.class);

        KafkaConsumer<String,String> consumer=new KafkaConsumer<String, String>(prop);
        consumer.subscribe(Collections.singleton("first"));//消费者订阅主题
        while (true){
            ConsumerRecords<String, String> records = consumer.poll(100);//消费者拉取数据
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
            consumer.commitSync();//同步提交，当前线程会阻塞知道offset提交成功
        }
    }
}

2）异步提交offset

虽然同步提交offset更可靠一些，但是由于其会阻塞当前线程，直到提交成功。因此吞吐量会收到很大的影响。因此更多的情况下，会选用异步提交offset的方式。

以下为异步提交offset的示例：

package nj.zb.kb09;

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.util.Collections;
import java.util.Map;
import java.util.Properties;

public class CustomConsumer {
    public static void main(String[] args) {
        Properties prop=new Properties();
        prop.put("bootstrap.servers","192.168.83.102:9092");
        prop.put("group.id","test");//消费者组，只要group.id相同，就属于同一个消费者组
        prop.put("enable.auto.commit","false");//关闭自动提交offset
        prop.put("auto.commit.interval.ms","1000");
        prop.put("key.deserializer", StringDeserializer.class);
        prop.put("value.deserializer", StringDeserializer.class);

        KafkaConsumer<String,String> consumer=new KafkaConsumer<String, String>(prop);
        consumer.subscribe(Collections.singleton("first"));//消费者订阅主题
        while (true){
            ConsumerRecords<String, String> records = consumer.poll(100);//消费者拉取数据
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
            }
            consumer.commitAsync(new OffsetCommitCallback() {
                @Override
                public void onComplete(Map<TopicPartition, OffsetAndMetadata> offsets, Exception exception) {
                    if (exception != null) {
                        System.err.println("Commit failed for" + offsets);
                    }
                }
            });//异步提交
        }
    }
}

3）数据漏消费和重复消费分析

无论是同步提交还是异步提交offset，都有可能会造成数据的漏消费或者重复消费。先提交offset后消费，有可能造成数据的漏消费；而先消费后提交offset，有可能会造成数据的重复消费。

image-20201209173954227

子清.
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2、java调用kafka api
05-29
2、java调用kafka api 网址：https://blog.csdn.net/chenwewi520feng/article/details/130577664 本分介绍java调用kafka api。 本文前置条件是kafka环境搭建好。 本分五部分，即简单的写数据到kafka、从topic中消费数据、异步回调、读写kafka中复杂数据类型和读取历史数据。
Kafka系列4-Kafka API
只是甲的博客
11-24 1224
文章目录一. Producer API1.2 异步发送普通生产者1.2 异步发送带回调函数的生产者1.3 生产者分区策略测试二. API消费者2.1 简单消费者2.2 消费者重置offset2.3 消费者保存offset读取问题2.4 消费者手动提交offset2.5 数据漏消费和重复消费分析2.6 自定义存储offset三. 自定义拦截器参考: 一. Producer API 消息发送流程   Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了 两个线程——ma
Kafka消息队列安装与使用（三）
木讷的鱼
10-22 286
Kafka消息队列安装与使用（三）四. Kafka API的使用4.1 Producer API4.1.1 消息发送流程4.1.2 异步发送 API4.1.3 同步发送 API4.2 Consumer API4.2.1 自动提交 offset4.2.2 手动提交 offset4.2.3 自定义存储 offset 四. Kafka API的使用 4.1 Producer API 4.1.1 消息发送流程 Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程—
Kafka 消费者详解
半杯态的博客
09-02 772
（1）生产者概览 （1）不同的应用场景对消息有不同的需求，即是否允许消息丢失、重复、延迟以及吞吐量的要求。不同场景对Kafka生产者的API使用和配置会有直接的影响。 例子1：信用卡事务处理系统，不允许消息的重复和丢失，延迟最大500ms，对吞吐量要求较高。 例子2：保存网站的点击信息，允许少量的消息丢失和重复，延迟可以稍高（用户点击链接可以马上加载出页面即可），吞吐量取决于用户使用网站的频度。 （2）Kafka发送消息的主要步骤 消息格式：每个消息是一个ProducerRecord对象，必须指...
Kafka源码之KafkaConsumer分析之poll方法分析
热门推荐
m0_37343985的博客
10-28 2万+
我们获取消息都是通过poll方法，现在我们从整体上看一下消费的流程： public ConsumerRecords&lt;K, V&gt; poll(long timeout) { //防止并发操作 acquire(); try { if (timeout &lt; 0) throw new Illegal...
聊聊Kafka(三)Kafka消费者与消费组
01-07 1万+
Kafka消费者与消费组简介消费者概念入门消费者、消费组心跳机制消息接收必要参数配置订阅反序列化位移提交消费者位移管理再均衡避免重平衡消费者拦截器消费组管理什么是消费者组消费者位移(consumer position)位移管理(offset management)再谈再均衡再均衡过程总结 简介 上节开了个头，探讨了kafka中的生产者的流程和思想，本节将继续研究消费者特性。 消费者 概念入门 消费者、消费组 消费者从订阅的主题消费消息，消费消息的偏移量保存在Kafka的名字是 __consumer_offs
kafka读书笔记-消费者-poll调用及返回
gaording的博客
04-29 2834
消费者订阅主题或者分区之后就会对主题和分区中的消息进行消费，Kafka中的消费是基于拉模式的，即客户端主动请求服务器拉取消息。与之对应的另一种常见消费模式是推模式，即服务端主动将消息推送给客户端。拉模式减少了服务端的压力，对于Kafka处理大数据量的时候能起到高效的作用。 简单的消费者消费代码如下: while (true){ //拉取消息 ConsumerRecords<Stri...
kafka中kafkaConsumer的poll拉取方法
qq_55548053的博客
02-25 1万+
1.一开始以为poll()方法里传的是Kafka返回的记录条数， 但其实是传的时间（ms） 2.Kafka轮询一次就相当于拉取(poll)一定时间段broker中可消费的数据， 在这个指定时间段里拉取，时间到了就立刻返回数据。 3.例如poll(5000)： 如果拉到数据的话 会立即放回；如果拉不到数据的话，这个是最长的等待时间； 比如5s，如果一直没有数据的话，每5s拉一次返回一次，有数据就立即返回再拉 原文：https://blog.csdn.net/weixin_41227335/article/d
快速学习-Kafka API
01-07
第 4 章 Kafka API 4.1 Producer API 4.1.1 消息发送流程 Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个线程共享变量——...
Spring for Apache Kafka API（Spring for Apache Kafka 开发文档）.CHM
08-31
Spring for Apache Kafka API。 Spring for Apache Kafka 开发文档。
Kafka_API_文档
04-04
Kafka API 文档
第11单元 KafkaApi实战1
08-08
第11单元 KafkaApi实战1
别网上找个demo就以为掌握了Kafka消费者
蓝胖子同学的博客
06-15 456
点击上方蓝色“胖滚猪学编程”，选择“设为星标”跟着胖滚猪学编程！好玩！有趣！前面两篇文章带你打入了kafka生产者的内部花园，现在是不是该轮到消费者接招了呢？消息怎么消费呢？你会告诉我，...
kafka 拉取的数据排序_Kafka 源码解析之 Consumer Poll 模型（七）
weixin_39662432的博客
12-03 1227
在上一篇问文章中已经介绍一个 Consumer 实例如何加入到一个 group 中，它是 Consumer Poll 模型第一步要做的事件，本文会完整讲述一个 Consumer 实例在 poll 模型过程中会做哪些事情，只有理解了 poll 模型才能更好地理解 Consumer 端的处理逻辑。Consumer 示例这里以一个 Consumer 的实例代码作为开始，一个比较常见的 Consumer ...
【Kafka】【十七】消费者poll消息的细节与消费者心跳配置
鸟人的博客
02-13 2248
默认情况下，消费者⼀次会poll500条消息。代码中设置了⻓轮询的时间是1000毫秒。
KafkaConsumer-Kafka从入门到精通（十）
ke1ying的博客
08-11 1894
KafkaConsumer-Kafka从入门到精通（十）
KafkaConsumer.poll时阻塞
a_tree123的博客
03-29 1238
运行kafka-console-producer.sh和kafka-console-consumer.sh来生成和使用消息，成功了 . 我用生成器API编写了一个java代码来生成消息时也成功，但API消费时，.poll时阻塞
初识kafka
最新发布
weixin_43539320的博客
05-06 726
发布与订阅系统：数据的发送者不会直接把消息发送给接收者；发布者以某种方式对消息进行分类，接收者通过订阅他们来接收特定类型的消息。发布与订阅系统也是事件驱动型程序的关键组件。
kafka api chm下载
12-02
Kafka是一个分布式流处理平台，提供了一组API供开发者使用。在使用Kafka进行开发时，有时需要查看Kafka的API文档以了解每个API的使用方法和参数含义。为了方便开发者查阅文档，Kafka官方提供了CHM格式的文档下载。 CHM是一种编译的HTML帮助文件格式，可以在Windows系统上直接打开并查看文档内容。下载Kafka的API文档CHM文件，可以通过以下步骤进行： 1. 打开Kafka官方网站，并导航到下载页面。 2. 在下载页面中查找与Kafka版本相对应的API文档下载链接。一般来说，官方会提供最新版本和之前版本的API文档下载链接，选择适合的版本下载即可。 3. 点击下载链接，保存CHM文件到本地磁盘。 4. 下载完成后，双击CHM文件即可在Windows系统上打开文档。 5. 打开文档后，可以利用文档目录、搜索功能等，按需查看Kafka的API使用和参数说明。 需要注意的是，由于Kafka版本迭代较快，官方文档也可能会随版本变化而有所更新，所以下载的API文档应与当前使用的Kafka版本相匹配，以获得准确的API说明和用法。 总之，通过下载Kafka的API文档CHM文件，开发者可以方便地查询和了解Kafka各个API的使用方法，为开发工作提供参考和帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值