Pandora数据工厂之数据开发

数据开发Leopard概述

​ 数据开发Leopard根据用户业务需求，对数据进行加工处理、分析与挖掘分析与挖掘（数据分析、数据挖掘）等提供数据离线计算分析功能。把用户设计的数据计算流程转化为多个相互依赖的任务，供调度系统自动调度执行。

一、数据计算任务流程

二、任务类型

• 数据同步

• HiveSQL

• SparkSQL

• Shell

• Spark Scala脚本

我们对底层任务调度giantpanda封装成数据集成和数据计算任务，具体参阅 2 任务调度

三、功能架构

---

原创诗词一首

游康定
铁桥纵横几千秋，云雾高锁水难流。
贡嘎山上飘银带，新都湖水荡轻舟。
远至江北三千里，近接蜀南十四州。
日暮驱车何处去，夜长难眠使人愁