1.什么是「任务流」?
企业用户需要把多个任务串联在一起,实现各个任务之间的依赖关系,当上游任务完成同步时可自动开启下游任务,实现数据同步的批流一体化。目前支持的组件任务有数据任务、远程命令执行、延时器等。
2.为什么需要管理「任务流」?
企业数据部门需要同时兼顾多方数据需求,需要一个平台可视化监控全部的任务流,并及时处理异常情况。DataPipeline希望能够最大限度的帮助企业数据部门降低数据管理、数据维护的成本。
3.创建「任务流」能做什么?
创建「任务流」能带给用户的核心功能有:
支持同时连接多个任务来实现任务之间的调度。
支持调度的组件任务包括数据任务、组件任务、延时器。
支持设置统一的开始时间,定时去调度整个任务流。
支持设置用户权限。
支持可视化的界面方便用户查看每个组建任务的执行情况。
支持查看任务的执行日志,快速高效地定位问题。
4.DataPipeline有哪些「任务流」管理功能?
任务流列表:一站式浏览所有任务流概况及异常通知。
任务流详情:可浏览任务流相关一切信息。
配置面板:浏览任务流的运行情况 。
权限设置:查看或者编辑用户权限信息。
执行记录:浏览任务流的整体同步状态以及每个组件任务的同步信息。