Azkaban的使用

Azkaban简介

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

Azkaban的有以下几点特性：

• 提供功能清晰，简单易用的Web UI界面
• 提供job配置文件快速建立任务和任务之间的依赖关系
• 提供模块化和可插拔的插件机制，原生支持command、Java、Hive、Pig、Hadoop
• 基于Java开发，代码结构清晰，易于二次开发

下面通过一个列子讲解Azkaban的开发流程。

(1)新建一个文件夹，在文件夹下创建两个文件hello1.job和hello2.job，内容如下：

hello1.job：

type=command

command=echo “this is hello1 job”

hello2.job：

type=command

command=echo “this is hello2 job”

dependencies=hello1

(2)把两个文件打包成hello.zip文件

(3)新建一个Azkaban工程：Hello，并上传hello.zip压缩文件

(4)上传成功后，可以在界面分别看到两个节点

(5)执行并查看输出

(6)点击Details，查看具体日志

(7)在history界面中可以查看到执行完成的任务：

至此，一个完整的任务从开发到执行完成。