flink sql实战案例

最新推荐文章于 2024-08-19 10:52:23 发布

籽麟网络

最新推荐文章于 2024-08-19 10:52:23 发布

阅读量335

点赞数

文章标签： flink sql kafka

本文链接：https://blog.csdn.net/zl5186888/article/details/126900108

版权

本文详细介绍了如何使用Flink SQL从Kafka读取数据并实时写入MySQL以及Kudu。通过创建source和sink表，配置Kafka和jdbc/kudu连接，并展示INSERT语句实现数据聚合与同步。同时讨论了断点续传、实时采集和回溯问题在数据同步中的应用。

摘要由CSDN通过智能技术生成

一、背景

二、流程

三、案例

1.flink sql读取 Kafka 并写入 MySQL

source

sink

insert

2.flinksql读kafka写入kudu

source

sink

insert

四、注意点

1.断点续传

2.实时采集

3.回溯问题

一、背景
使用flink sql实时同步一下数据

二、流程
总的来说就三步

source–>>sink->>insert

三、案例
1.flink sql读取 Kafka 并写入 MySQL
source
CREATE TABLE source_table (
user_id VARCHAR,
item_id VARCHAR,
category_id VARCHAR,
behavior VARCHAR,
ts TIMESTAMP
) WITH (
‘connector.type’ = ‘kafka’, – 使用 kafka connector
‘connector.version’ = ‘universal’, – kafka 版本，universal 支持 0.11 以上的版本
‘connector.topic’ = ‘user_behavior’, – kafka topic
‘connector.startup-mode’ = ‘earliest-offset’, – 从起始 offset 开始读取
‘connector.properties.0.key’ = ‘zookeeper.connect’, – 连接信息
‘connector.properties.0.value’ = ‘localhost:2