3 数据集成概述
数据集成系统提供的稳定高效、弹性伸缩的数据同步平台。致力于异构数据源之间数据高速稳定的数据移动及同步能力。
一、数据的同步流程图如下:
二、支持的数据源类型
-
文本数据
- Text
- CSV
- Json
-
关系型数据库
- MySQL
- Oracle
- SQL Server
-
NoSQL
- MongoDB
-
大数据存储
- ElasticSearch
- HDFS
- Hive
- HBase
-
流式数据
- Kafka
- Flume
- CDC
三、数据同步方式
- 数据同步
- 实时数据
通过扩展kafka connector实现,具体参看《kafka connector源码分析》
四、数据同步模式
数据同步模式如下图:
- 一对一模式
- 数据库表迁移
- 异构数据同步
- 多对一模式
- 数据表汇聚
- 分区(分库)表数据汇聚
- 日志数据汇聚
- 一对多模式
- 数据分发
- 多对多模式
- 数据汇聚后进行分发
- 数据库迁移
- 复合模式
- 复杂的数据汇聚分发场景
- Kafka
- Memory
- Ring Buffer环形缓存区(计划)
- 基于datax3.0源码改造,参看《datax源码分析》
原创诗词一首
西游记•女儿国
圣僧何苦虑多情,佛法有缘自修行。
世间若无双全法,宁负如来不负卿。