张伯毅的专栏

Apache DolphinScheduler 于 17 年在易观数科立项， 19 年 3 月开源，8 月进入 Apache 孵化器， 已累计有 400+ 公司在生产上使用。DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系，使整个数据处理流程直观可见”。DolphinScheduler 以 DAG(有向无环图) 的方式将任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作.一 .背景二 .定位三 .案例3.1. 易观千帆3.

Apache DolphinScheduler，为Apache开源项目, 简称”DS”, 中文名 “小海豚调度”（海豚聪明、人性化，又左右脑可互相换班，终生不用睡觉）。希望 DolphinScheduler 就像它的名字一样，成为一个“开箱即用”的灵活易用的调度系统。DolphinScheduler已经一岁了,很荣幸与它一起成长, 2020年就剩几天了,记录一下,就当是对这一年多的成长做了一个梳理(开启碎碎念模式…).一. 相遇2019年10月公司决定开展中台方面的业务,基于大数据体系,要搞一套从.

DolphinScheduler扩容/缩容 文档1. DolphinScheduler扩容文档本文扩容是针对现有的DolphinScheduler集群添加新的master或者worker节点的操作说明. 注意： 一台物理机上不能存在多个master服务进程或者worker服务进程. 如果扩容master或者worker节点所在的物理机已经安装了调度的服务,请直接跳到 [1.4.修改配置]. 编辑 ** 所有 ** 节点上的配置文件 `conf/config/install_config.

前言本文档为dolphinscheduler配置文件说明文档,针对版本为 dolphinscheduler-1.3.x 版本.目录结构目前dolphinscheduler 所有的配置文件都在 [conf ] 目录中.为了更直观的了解[conf]目录所在的位置以及包含的配置文件,请查看下面dolphinscheduler的安装部署文件的目录的简化说明.本文主要讲述dolphinscheduler的配置文件.其他部分先不做赘述.[注:以下 dolphinscheduler 简称为DS.]├─bi

任务总体存储结构在dolphinscheduler中创建的所有任务都保存在t_ds_process_definition 表中.该数据库表结构如下表所示:序号字段类型描述1idint(11)主键2namevarchar(255)流程定义名称3versionint(11)流程定义版本4release_statetinyint(4)流程定义的发布状态：0 未上线 1已上线5project_idint(11)项目id6u

任务总体存储在调度平台所创建的所有任务都保存在t_ds_process_definition 表中,该表结构如下表所示: 序号 字段 类型 注释 1 id int 主键 2 name ...

设计特点：一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 其主要目标如下：以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态 支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Pr...