Seatunnel系列之：Apache Iceberg sink connector和往Iceberg同步数据任务示例

最新推荐文章于 2024-07-18 17:01:17 发布
最新推荐文章于 2024-07-18 17:01:17 发布
阅读量490 收藏
点赞数 3
分类专栏： 大数据 文章标签： Seatunnel系列 Apache Iceberg sink connector 往Iceberg同步数据 任务示例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/136610137
版权
大数据 专栏收录该内容
537 篇文章 549 订阅 ¥49.90 ¥99.00
订阅专栏
本文详细介绍了如何使用Seatunnel的Apache Iceberg sink connector进行数据同步，支持Spark和Flink引擎，涵盖了版本兼容性、依赖库、数据类型映射和具体同步任务示例。
摘要由CSDN通过智能技术生成

Seatunnel系列之：Apache Iceberg sink connector和往Iceberg同步数据任务示例

一、支持的Iceberg版本

  • 1.4.2

二、支持的引擎

  • Spark
  • Flink
  • SeaTunnel Zeta

三、描述

  • Apache Iceberg 的接收器连接器。可以支持cdc模式、自动建表和表模式演化。

四、支持的数据源信息

数据源 依赖
Iceberg hive-exec
Iceberg libfb303

五、数据库依赖

为了兼容不同版本的 Hadoop 和 Hive，提供了项目 pom 文件中 hive-exec 的作用域，所以如果使用 Flink 引擎，首先可能需要将以下 Jar 包添加到 <FLINK_HOME>/ lib目录下，如果您使用的是Spark引擎并与Hadoop集成，则不需要添加以下Jar包。

hive-exec-xxx.jar
libfb303-xxx.jar
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Flink SQL Hive Connector使用场景
击水三千里的专栏
11-01 1516
本文基于FLink1.16讨论，Apache Flink Hive Connector提供了Flink与Hive的集成，主要用于在Flink中读取和写入Hive数据
Flink Iceberg Connector
Bulut0907
04-08 738
目录 create table test(…) with (‘connector’ = ‘iceberg’, …) 在Flink的当前Catalog(默认为GenericInMemoryCatalog)中，创建一个和Iceberg表对应的表映射 create temporary table my_user( user_id bigint, user_name string, birthday date, country string ) with ( 'connector'='iceberg', 'cata
Iceberg从入门到精通系列之十六：Flink Iceberg Connector
zhengzaifeidelushang的博客
07-15 780
Iceberg从入门到精通系列之十六：Flink Iceberg Connector
如何基于 Apache SeaTunnel 同步数据到 Iceberg
最新发布
weixin_54625990的博客
07-18 1174
是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的开源数据集成平台， 支持spark、flink 及自研 Zeta 引擎，有庞大的用户社群.connector-Iceberg 是专门为Iceberg引擎开发的数据同步组件， 主要为了方便SeaTunnel 用户能更加友好的使用Iceberg来构建企业级数据湖仓。
seatunnel数据集成（四）转换器使用
不才伟才的博客
02-06 2444
seatunnel除了丰富的连接器类型，其转换器也能够让数据转换更加简单，包括Copy，Filter，FieldSelector，FielMapper，DATa Filter，TypeConverter，Replace，Split，FilterRowKind，SQL，SQL Functions等。
数据集成框架SeaTunnel学习笔记
四国棋客
06-10 8789
SeaTunnel 是一个简单易用的数据集成框架，在企业中，由于开发时间或开发部门不通用，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行。数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。SeaTunnel 支持海量数据的实时同步。它每天可以稳定高效地同步数百亿数据，并已用于近 100 家公司的生产。 SeaTunnel的前身是 Waterdrop（中文名：水滴）自2021年 10月 12日更名为 SeaTunnel。...
Flink、Iceberg和Hive的Catalog比较研究
Deepexi_Date的博客
02-28 2344
所谓Catalog即数据目录，简单讲，Catalog是企业用于管理数据资产的方式，Catalog借助元数据来管理数据，包括数据收集、组织、访问、发现和治理。可见，Catalog在数据资产管理中处于核心位置。元数据本身内容非常丰富，包括技术元数据、业务元数据和操作元数据，本文仅仅研究大数据计算存储框架本身的技术元数据，比如数据库、数据表、分区、视图、函数等。限于篇幅，参与比较的计算存储框架为Flink、Iceberg和Hive，比较维度为Catalog的定义、Catalog的实现和生态拓展几个方面。 Cata
使用了flink官方示例，尽然提交任务后报错了
热门推荐
github_56967035的博客
06-26 1万+
使用了flink官方示例，尽然提交任务后报错了 背景：参考flink的官方示例，开发FlinkSQL的ETL应用。ETL应用从kafka消费数据，经过数据处理，将处理后的结果数据下沉存储到Clickhouse中。 问题：工程的pom文件中明明依赖了相关连接器,本地运行正常。但打包提交应用到flink时，却报错确少连接器依赖。 错误日志 当pom.xml中依赖的Kafka连接器依赖放置在Clickhouse连接器前面,报错下面日志： The program finished with the follo
2023年09数据月报
SmartSi
09-24 216
2023年09月数据月报，为您准备了阿里、字节、百度等大厂110多篇实践案例
使用seatunnel同步Kafka的数据到clickhouse（保姆级）
longlongbreak的博客
03-15 380
2.seatunnel官网的source/sink模板。3.seatunnel的GitHub地址。1.seatunnel依赖地址。
IceBerg数据湖_介绍_高表达SQL_完整模式演化_时间旅行和回滚_隐藏分区_数据压缩合并---大数据之_数据湖框架Apache Iceberg工作笔记0001
添柴程序猿的专栏
04-19 197
比如你有一个公司 电商比较火的时候有个部门 做了一个电商的程序 用的mysql数据库关系型数据库,然后 还有 后来短视频火了,一个部门又做了一个 短视频程序,用的是hbase数据库 然后,后来 抖音又火了,这个时候另一个部门又做了一个抖音相关的程序,用的mongledb数据库.那么这个时候如果A,B,C部门,他们用的不同的数据库,如果想用彼此的数据,那么,他们就怎么共享数据?配置env,然后addsource,然后用算子计算,然后sink到什么位置对吧,处理后的数据存储。spark 和fink的程序.
SeaTunnel 在天翼云数据集成平台的探索实践
weixin_54625990的博客
12-26 1126
SeaTunnel 整合到天翼云数据平台在架构层面的设计与思考。
【第三期】每周 SeaTunnel FAQ 集锦
weixin_54625990的博客
04-21 285
点击蓝字 关注我们4月15日-4月21日问Checkpoint目前能做到冷启动吗？重启的时候指定Checkpoint，类似Flink从Checkpoint恢复。可以，启动的时候加-r参数，可以从最后一次checkpoint启动。答问有关于Flink引擎和SeaTunnel 2.3.1 Zeta引擎的对比文档吗？ 公众号搜索zeta，可参考相关文章。 答问不支持多个Source的话，怎么...
Seatunnel分布式数据同步工具介绍
ruijungao的博客
11-17 3272
Seatunnel分布式数据同步工具介绍
seaTunnel 支持的插件
qq_24186017的博客
04-11 3178
目录 source hive source sink clickhouse sink Transform source hive source 1.支持的引擎 Spark 不支持 Flink 2.选项 名字 类型 必须 默认值 pre_sql string 是 - common-options string 是 - 3.配置 3.1 必须配置 env { ... spark.sql.ca...
SeaTunnel 在 oppo 的特征平台实践 | ETL 平台数据处理集成
weixin_66005343的博客
03-25 3485
SeaTunnel 在 oppo 的特征平台实践 | ETL 平台数据处理集成
数据湖技术Iceberg0.12预研文档
我去探险了
10-28 793
Iceberg0.12预研 本次预研场景主要为kafka=>flink sql=>iceberg=>hive=>hdfs=>trino(presto) 本次预研使用组件如下： 名称 版本 描述 flink 1.12.1 通过parcel包部署于cdh6.3.2中 cdh 6.3.2 开源版本 hive 2.3.7 包含cdh中（更换jar升级替换） hadoop 3.0.0 cdh原生版本 presto 2.591 开源版本 trino 36
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值