DataPipeline在Kafka Connect基础上进行了系统架构优化，引入DataPipeline Manager进行全局生命周期管理，增强了任务并行模式，支持JMX上报统计信息。此外，还提供规则引擎、错误队列机制和可视化配置环境，解决数据集成中的清洗、转换和错误处理问题。未来，DataPipeline将利用流式计算提升数据质量管理。
在不断满足当前企业客户数据集成需求的同时，DataPipeline也基于Kafka Connect 框架做了很多非常重要的提升。
- 系统架构层面。
DataPipeline引入DataPipeline Manager的概念，主要用于优化Source和Sink的全局化生命周期管理。当任务出现异常时，可以实现对目的端和全局生命周期的管理。例如，处理源端到目的端读取速率不匹配以及暂停等状态的协同。
为了加强系统的健壮性，我们把Connector任务的参数保存在ZooKeeper中，方便任务重启后读取配置信息。
DataPipeline Connector通过JMX Client将统计信息上报Dashboard。在Connector中在技术上进行一些封装，把一些通用信息，比如说Connector历史读取信息，跟管理相关的信息都采集到Dashboard里面，提供给客户。
- 任务并行模式。
DataPipeline在任务并行方面做了一些加强。我们在具体服务客户的时候也遇到这样的问题，需要同步数十张表。在DataPipeline Connector中，我们允许每个Task内部可以定义和维护一个线程池，通过控制线程并发数，并且每个Task允许设置行级别的IO控制。而对于JD
最低0.47元/天 解锁文章
679
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
