安装azkaban的时候遇到的一些问题

1，将gradlew转化为maven：

注意group和version要保持一致，否则会导致最后的maven依赖失败

在根目录和各个子目录当中的gradlew文件当中纷纷加入以下脚本：

apply plugin: 'java'
apply plugin: 'maven'

group = 'com.linkedin'
version = '3.62.0'
sourceCompatibility = JavaVersion.VERSION_1_8

task writeNewPom << {
    pom {
        project {
            inceptionYear '2018'
            licenses {
                license {
                    name 'The Apache Software License, Version 2.0'
                    url 'http://www.apache.org/licenses/LICENSE-2.0.txt'
                    distribution 'repo'
                }
            }
        }
    }.writeTo("$buildDir/../pom.xml")
}

邮件点击此task,在各个目录下都会生成pom.xml

 

2,修改gradlew使用的maven源：

allprojects {
    apply plugin: 'jacoco'

    repositories {
//        mavenCentral()
//        mavenLocal()
        maven { url 'http://maven.aliyun.com/nexus/content/groups/public'}
    }
}

3，实质上的azkaban安装参考教程

https://blog.csdn.net/liu16659/article/details/81254742

代码很多，实现的功能看起来相对很简单

通过

./gradlew clean

./gradlew installDist

./gradlew build -x test

 

在db,az-exec-server,az-web-server下分别出现三个安装包，将其解压即可

 

4，az-db下面的create-all.sql是通过gradlew的Concat这个任务生成的。

 

5，新版本的azkaban相比较于原来的azkaban新增加了一个功能，flow trigger schedule.要打开这个工程

在配置当中增加：

azkaban.server.schedule.enable_quartz=true
azkaban.dependency.plugin.dir=/usr/bin/azkaban/azkaban-web-server-3.62.0/plugins/dependency

org.quartz.dataSource.quartzDS.driver = com.mysql.jdbc.Driver
org.quartz.dataSource.quartzDS.URL = jdbc:mysql://127.0.0.1:3306/azkaban
org.quartz.dataSource.quartzDS.user =azkaban
org.quartz.dataSource.quartzDS.password = azkaban
org.quartz.threadPool.threadCount = 3
org.quartz.jobStore.class=org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass=org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.tablePrefix=QRTZ_
org.quartz.jobStore.dataSource=quartzDS

 

在dependency目录当中增加几个jar包

-rw-r--r-- 1 root root     2578 Dec  5 01:44 az-flow-trigger-dependency-plugin-3.62.0.jar
-rw-r--r-- 1 root root      213 Dec  5 03:43 dependency.properties
-rw-r--r-- 1 root root 71115991 Dec  5 03:43 kafka-event-trigger-3.62.0-fat.jar
-rw-r--r-- 1 root root    12499 Dec  5 01:43 kafka-event-trigger-3.62.0.jar

 

在dependency.properties当中增加如下配置

dependency.class=trigger.kafka.KafkaDependencyCheck
dependency.classpath=/usr/bin/azkaban/azkaban-web-server-3.62.0/plugins/dependency/kafka/kafka-event-trigger-3.62.0-fat.jar
kafka.broker.url=192.168.13.128:9092

 

部署完成，研究一把这个flow trigger到底是怎么调度起来的，不行就自己通过quartz和DAG来实现一套了