数据同步：(开源)基于Flink的数据同步工具Chunjun

简介

Chunjun是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等。同时，Chunjun也是支持原生FlinkSql所有语法和特性的计算框架，并且提供了大量案例。

特性

• 大部分插件支持并发读写数据，可以大幅度提高读写速度；
• 部分插件支持失败恢复的功能，可以从失败的位置恢复任务，节约运行时间；失败恢复
• 关系数据库的Source插件支持间隔轮询功能，可以持续不断的采集变化的数据；间隔轮询
• 部分数据库支持开启Kerberos安全认证；Kerberos
• 可以限制source的读取速度，降低对业务数据库的影响；
• 可以记录sink插件写数据时产生的脏数据；
• 可以限制脏数据的最大数量；
• 支持多种运行模式；
• 同步任务支持执行flinksql语法的transformer操作；
• sql任务支持和flinkSql自带connectors共用；

支持数据库