Flink多sink输出

最新推荐文章于 2024-08-03 17:23:28 发布

SOUL-GIN

最新推荐文章于 2024-08-03 17:23:28 发布

阅读量1.2w

点赞数 4

文章标签： flink

本文链接：https://blog.csdn.net/zxczb/article/details/117440102

版权

本文介绍了Flink如何实现多sink输出。首先讲解了Flink单一流如何使用OutputTag侧输出多个计算结果，虽然同一对象无法多次输出。接着阐述了Flink多阶段sink的策略，通过OutputTag侧输出先进行一次sink，然后主流继续计算，最终再进行最后一次sink操作。

摘要由CSDN通过智能技术生成

Flink多sink

Flink单一流多sink

通过OutputTag侧输出多个计算结果(同一结果对象需要进行copy再设置至侧输出流, 暂不支持同对象多次输出)进行sink

Flink多阶段sink

通过OutputTag侧输出第一次计算结果进行sink
主流继续计算, 最后再sink

package com.gin.demo;

import lombok.*;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.state.StateTtlConfig;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.streaming.api.functions.sink.PrintSinkFunction;
import org.apache.flink.util.Collector;
import org.apache.flink.util.OutputTag;

import java.io.IOException;

/**
 * 场景:
 * 先以IP维度计算IP关联次数, 再以userId维度计算userId关联次数
 * 两个结果分别进行sink
 *
 *