安装azkaban的时候遇到的一些问题

1,将gradlew转化为maven:

注意group和version要保持一致,否则会导致最后的maven依赖失败

在根目录和各个子目录当中的gradlew文件当中纷纷加入以下脚本:

apply plugin: 'java'
apply plugin: 'maven'

group = 'com.linkedin'
version = '3.62.0'
sourceCompatibility = JavaVersion.VERSION_1_8

task writeNewPom << {
    pom {
        project {
            inceptionYear '2018'
            licenses {
                license {
                    name 'The Apache Software License, Version 2.0'
                    url 'http://www.apache.org/licenses/LICENSE-2.0.txt'
                    distribution 'repo'
                }
            }
        }
    }.writeTo("$buildDir/../pom.xml")
}

邮件点击此task,在各个目录下都会生成pom.xml

 

2,修改gradlew使用的maven源:

allprojects {
    apply plugin: 'jacoco'

    repositories {
//        mavenCentral()
//        mavenLocal()
        maven { url 'http://maven.aliyun.com/nexus/content/groups/public'}
    }
}

3,实质上的azkaban安装参考教程

https://blog.csdn.net/liu16659/article/details/81254742

代码很多,实现的功能看起来相对很简单

通过

./gradlew clean

./gradlew installDist

./gradlew build -x test

 

在db,az-exec-server,az-web-server下分别出现三个安装包,将其解压即可

 

4,az-db下面的create-all.sql是通过gradlew的Concat这个任务生成的。

 

5,新版本的azkaban相比较于原来的azkaban新增加了一个功能,flow trigger schedule.要打开这个工程

在配置当中增加:

azkaban.server.schedule.enable_quartz=true
azkaban.dependency.plugin.dir=/usr/bin/azkaban/azkaban-web-server-3.62.0/plugins/dependency

org.quartz.dataSource.quartzDS.driver = com.mysql.jdbc.Driver
org.quartz.dataSource.quartzDS.URL = jdbc:mysql://127.0.0.1:3306/azkaban
org.quartz.dataSource.quartzDS.user =azkaban
org.quartz.dataSource.quartzDS.password = azkaban
org.quartz.threadPool.threadCount = 3
org.quartz.jobStore.class=org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass=org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.tablePrefix=QRTZ_
org.quartz.jobStore.dataSource=quartzDS

 

在dependency目录当中增加几个jar包

-rw-r--r-- 1 root root     2578 Dec  5 01:44 az-flow-trigger-dependency-plugin-3.62.0.jar
-rw-r--r-- 1 root root      213 Dec  5 03:43 dependency.properties
-rw-r--r-- 1 root root 71115991 Dec  5 03:43 kafka-event-trigger-3.62.0-fat.jar
-rw-r--r-- 1 root root    12499 Dec  5 01:43 kafka-event-trigger-3.62.0.jar

 

在dependency.properties当中增加如下配置

dependency.class=trigger.kafka.KafkaDependencyCheck
dependency.classpath=/usr/bin/azkaban/azkaban-web-server-3.62.0/plugins/dependency/kafka/kafka-event-trigger-3.62.0-fat.jar
kafka.broker.url=192.168.13.128:9092

 

部署完成,研究一把这个flow trigger到底是怎么调度起来的,不行就自己通过quartz和DAG来实现一套了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值