flink 根据时间消费kafka

zhdan~

于 2019-10-25 10:11:51 发布

阅读量4.4k

点赞数

分类专栏： flink kafka 文章标签： flink kafka

本文链接：https://blog.csdn.net/zhangdongan1991/article/details/102728627

版权

本文介绍了如何在Flink 1.9版本中，使用FlinkKafkaConsumer011根据时间戳来消费Kafka 0.11版本的消息。主要方法包括setStartFromTimestamp，并解析了其内部通过fetchOffsetsWithTimestamp计算offset的原理。同时提到，Flink SQL目前不直接支持此功能，但可以通过编码方式，利用KafkaTableSourceBase和SPECIFIC_OFFSETS模式实现类似目标。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka版本：0.11
flink版本：1.9

FlinkKafkaConsumer011中提供了很多方法确定如何消费kafka消息：

setStartFromTimestamp
setStartFromEarliest
setStartFromLatest
setStartFromSpecificOffsets
setStartFromGroupOffsets

需要根据时间消费kafka消息，调用setStartFromTimestamp方法就行。

public class StreamingJob {
   
	public static void main(String[] args) throws Exception {
   
		// set up the streaming execution environment
		final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        Properties prop = new Properties();
        prop.put("bootstrap.servers", "localhost:9092");
        prop.put("group.id", "flink-streaming-job");
        FlinkKafkaConsumer011<String> consumer = new FlinkKafkaConsumer011<>("start_log", new SimpleStringSchema(), prop);
        //指定Timestamp位置开始消费kafka数据
        consumer.setStartFromTimestamp(1571909309022L);
        //source
        DataStream source = env.

最低0.47元/天解锁文章