Pandora数据工厂之任务调度引擎

任务调度引擎

     调度引擎作为整个集群的大脑，主要为平台中数据采集、数据计算、数据查询、数据清洗等各种需要调度任务的场景，提供统一的任务调度功能。

一、执行引擎

     执行引擎主要负责任务请求、任务调度和任务执行，整个架构采用master-slave架构，包括客户端、注册中心、任务管理中心、执行器和任务元数据等。

• 客户端JobClient

  JobClient为执行引擎的web客户端，提供任务的配置、管理、监控等功能。针对数据采集、数据计算、数据查询、数据清洗等各种需要调度任务的场景问题，在客户端界面进行任务配置和调度配置后，通过restful api向jobmanager发送任务调度请求。当然，也可以直接调用restful api向jobmanager发送任务调度请求

•  注册中心Discover

   是将jobmanager和执行器结合到一起的服务。执行器节点启动后向注册中心进行服务注册，jobmanager从注册中心Discover获得可以正常工作的执行器节点，进行任务调度执行。

• 任务元数据

Job的元数据存储采用Mysql，保存Job的配置、依赖关系、运行历史、资源配置、告警配置等元数据。

• 管理中心JobManager

   JobManager主要功能提供http服务，接收并处理JobClient提交的所有操作；与元数据