Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
一、快速上手
1、使用admin用户登录,密码是dophinscheduler123,创建队列。
2、创建租户,创建租户前要确保HDFS的根目录下所属者都是hdfs,与DS配置文件保持一致,否则会创建失败。
3、创建普通用户。
4、创建告警组。
5、创建token令牌。
6、退出账号,切换test用户。
7、创建项目。
8、点击项目名称,进入项目首页,创建工作流。
9、创建三个简单的工作任务,执行简单输出,输出hello world。
10、选中箭头,将节点进行连接,建立任务间的执行顺序,点击保存,设置DAG图名称。
11、测试,上线,需要先点击上线,再点击执行,执行前需要配置一些参数。
12、执行完成之后,查看是否成功和日志。
二、资源中心
资源中心用于上传文件和udf函数,所有上传的文件和资源都会被存储到hdfs上(在安装时配置了相关参数),将jar包上传上去,用于后面测试。
三、Spark节点
1、创建hdfs(需要和hdf路径上的owner对应)租户。
2、创建atguigu用户。
3、切换成atguigu用户,在项目管理中新创建项目test-project。
4、在新建的项目中创建新的工作流,在工作流创建画布上选择spark节点图标,创建spark任务,使用我们事先已经上传到资源中心的jar包,配置必要的参数。
5、以此类推,分别创建出dwd层、dws层和ads层的任务流,并使用箭头连接,确定三个任务的先后执行顺序。
6、上线、执行,进行测试。
7、执行完成后,可以查看甘特图和日志等信息。
四、创建HIve数据源
1、点击数据源中心,点击创建数据源。
2、选择数据源类型是HIVE/IMPALA,并配置必要参数。