flink从kafka-topic固定offset消费的5种方式

package flinkdemo.sinkDemo;

import flinkdemo.sourceDemo.deserialization.ConsumerRecordKafkaDeserializationSchema;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011;
import java.nio.charset.StandardCharsets;
import java.util.*;

import org.apache.flink.streaming.connectors.kafka.internals.KafkaTopicPartition;
import org.apache.kafka.clients.consumer.ConsumerRecord;

/**
 * @author zhangkai
 * @create 2019/12/11
 */
public class SinkToKafka {
    public static void main(String[] args) throws Exception {
        String topicList = "otter_sms_0";
        System.out.println(topicList);

        StreamExecutionEnvironment see = Stre
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink作为一个分布式流处理框架,可以集成Kafka并实现指定offset消费。下面是使用Flink消费Kafka指定offset的简单步骤: 首先,确保你的项目依赖中已经引入了FlinkKafka的相关库。 在Flink应用程序中,你需要创建一个消费者并指定消费Kafka话题。使用`FlinkKafkaConsumer`类来创建一个Kafka消费者对象,并在构造函数中指定Kafka的连接地址、话题和反序列化器等相关信息。例如: ```java Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "localhost:9092"); properties.setProperty("group.id", "my-consumer-group"); FlinkKafkaConsumer<String> kafkaConsumer = new FlinkKafkaConsumer<>("my-topic", new SimpleStringSchema(), properties); ``` 然后,你可以使用`setStartFromSpecificOffsets()`方法来指定要从哪个offset开始消费。`setStartFromSpecificOffsets()`方法接受一个`Map<KafkaTopicPartition, Long>`参数,其中`KafkaTopicPartition`表示Kafka话题的分区,`Long`表示要指定offset。例如,假设你要指定从话题`my-topic`的第一个分区的偏移量10开始消费,那么你可以这样设置: ```java Map<KafkaTopicPartition, Long> specificOffsets = new HashMap<>(); specificOffsets.put(new KafkaTopicPartition("my-topic", 0), 10L); kafkaConsumer.setStartFromSpecificOffsets(specificOffsets); ``` 最后,将Kafka消费者对象传递给Flink的`addSource()`方法来创建数据源。例如: ```java DataStream<String> dataStream = env.addSource(kafkaConsumer); ``` 在这之后,你可以继续处理和转换数据流,实现你的业务逻辑。 以上就是使用Flink Kafka消费指定offset消费的简单过程。通过指定offset,你可以从指定位置开始消费Kafka数据,而不是从最新或最早的offset开始消费

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值