数据同步:(开源)基于Flink的数据同步工具Chunjun

简介

Chunjun是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等。同时,Chunjun也是支持原生FlinkSql所有语法和特性的计算框架,并且提供了大量案例。

特性

  • 大部分插件支持并发读写数据,可以大幅度提高读写速度;
  • 部分插件支持失败恢复的功能,可以从失败的位置恢复任务,节约运行时间;失败恢复
  • 关系数据库的Source插件支持间隔轮询功能,可以持续不断的采集变化的数据;间隔轮询
  • 部分数据库支持开启Kerberos安全认证;Kerberos
  • 可以限制source的读取速度,降低对业务数据库的影响;
  • 可以记录sink插件写数据时产生的脏数据;
  • 可以限制脏数据的最大数量;
  • 支持多种运行模式;
  • 同步任务支持执行flinksql语法的transformer操作;
  • sql任务支持和flinkSql自带connectors共用;

支持数据库

  • 0
    点赞
  • 0
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:技术黑板 设计师:CSDN官方博客 返回首页
评论

打赏作者

Freedom3568

技术域不存在英雄主义,不进则退

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值