![](https://img-blog.csdnimg.cn/bea41c2c7e9c4433ac377f38e893eb7a.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
文章平均质量分 61
以实例的方式提供一些Flink的使用的经验
迷途码界
一些原理解读,经验分享
segmentfault:迷途码界(https://segmentfault.com/u/cclovel/articles)
展开
-
Flink 使用 ProcessFunction 处理时间乱序数据
Flink 使用 ProcessFunction 处理时间乱序数据时间乱序数据情况实验验证POM文件代码实现时间乱序数据情况由于业务数据采集是获取的数据有时并不能保证数据的顺序传输,错误的数据顺序可能会带来业务的异常。例如:合并宽表时最后更新的数据比之前更新的数据先到达并被处理,将出现脏数据情况。{ // key 里分别表示主键Id、表名、时间 "key": "id_table1_202203" // ... 表示其他数据,此处省略 "eventTime" 1648178741000}原创 2022-03-25 11:28:06 · 2309 阅读 · 0 评论 -
Flink 使用 watermark + window 处理时间乱序数据
Flink 使用 watermark + window 处理时间乱序数据时间乱序数据情况实例验证POM文件代码实现测试情况时间乱序数据情况由于业务数据采集是获取的数据有时并不能保证数据的顺序传输,错误的数据顺序可能会带来业务的异常。例如:数据如下;01,163586706600001,163586706700001,163586706800001,163586706900001,163586707000001,1635867071000实例验证POM文件<dependencie原创 2022-03-25 10:56:37 · 2037 阅读 · 0 评论 -
基于Docker 构建 Flink 镜像以 Local Cluster 模式运行
基于Docker 构建 Flink 镜像以 Local Cluster 模式运行基本结构编辑相关脚本接入点脚本启动脚本Dockerflie基于 Dockerfile 构建镜像构建镜像运行容器查看运行状态基本结构flink-1.13.2:flink的服务文件docker-entrypoint.sh:接入点脚本start.sh:启动脚本Dockerflie:镜像编译文件编辑相关脚本接入点脚本docker-entrypoint.sh#!/bin/bashset -eexec "$@"原创 2022-02-16 11:29:45 · 3281 阅读 · 0 评论 -
Flink 动态加载 Jar 包,实现自定义算子加载执行
Flink 动态加载 Jar 包,实现自定义算子加载执行动态加载Jar动态Jar调用方式动态加载Jar对应的参数:path:Jar 的存放路径。env:Flink 的环境实例。classPath:动态Jar的类路径。import java.lang.reflect.Field;import java.lang.reflect.Method;import java.net.URL;import java.net.URLClassLoader;import java.util.Array原创 2021-12-30 11:41:12 · 2364 阅读 · 1 评论 -
Flink 自定义source 写入 Kafka
Flink 自定义source 写入 Kafka添加依赖构建KafkaSource参数实例构建自定义KafkaMQSource添加依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</artifactId> <version>1.13.2</version> <scope>p原创 2021-12-30 11:12:05 · 972 阅读 · 0 评论 -
Flink 自定义sink 写入Kafka
Flink 自定义sink 写入 Kafka添加依赖构建KafkaSink参数实例构建自定义ClickhouseStoreSink添加依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</artifactId> <version>1.13.2</version> <scope>原创 2021-12-30 11:06:57 · 1053 阅读 · 0 评论 -
Flink 自定义sink 写入 Clickhouse
Flink 自定义sink 写入 Clickhouse添加依赖构建ClickhouseSink参数实例构建自定义ClickhouseStoreSink添加依赖<dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.4</version></depend原创 2021-12-30 10:58:05 · 1671 阅读 · 0 评论 -
Flink 自定义sink 向 Restful 风格接口发送数据
Flink 自定义sink 向 Restful 风格接口发送数据添加依赖构建RestfullSink参数实例构建自定义RabbitMQSink添加依赖<dependency> <groupId>commons-httpclient</groupId> <artifactId>commons-httpclient</artifactId> <version>3.1</version></dependency&原创 2021-12-30 10:54:32 · 1457 阅读 · 0 评论 -
Flink 自定义sink 写入 RabbitMQ
Flink 自定义sink 写入 RabbitMQ添加依赖构建RabbitMQSink参数实例构建自定义RabbitMQSink添加依赖<!-- rabbitmq --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-rabbitmq_2.12</artifactId> <version>1.13.2<原创 2021-12-30 10:45:22 · 1094 阅读 · 0 评论