用azkaban执行java

于 2023-04-24 16:38:09 发布
阅读量288 收藏 1
点赞数
文章标签： java intellij-idea jar
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zqt726/article/details/130346378
版权

1、打包java文件为jar包（用的是idea打包的办法）

file->project structure

Artifacts->JAR->From moudules with dependencies

点击文件加，选择要执行的主类

点击apply，然后点ok

点Build->Build Artifacts

点build

可以看到生成了jar包

2、写job文件

写一个test.job

需要把jar包放到服务器上去，classpath为服务器上放置该jar包的位置

3、把test.job文件压缩成test.zip

4、在azakaban上创建项目

5、把test.zip上传

6、执行进行测试

zqt726
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
java语言springboot 二次封装azkaban 实现azkaban 的创建 执行
01-27
1、基于SSM架构，基于springboot实现，可用接口调用 2、azkaban的复杂的依赖配置可以变成简单的...3、接口直接执行azkaban，无需人工登录azkaban触发执行 4、核心代码可以直接复用，用于对azkaban有定制需求的开发者
Java使用azkaban
beiduofen2011的专栏
11-11 1201
azkaban是一个批量工作流调度器，由三部分组成 executor server,web server ,mysql executor server 和web server 是通过mysql进行数据交互的，可以独立部署 azkaban任务分为3个层次：project ,flow, job ，当上传project ,flow, job名称都一样的job的时候，会进行覆盖，一个project不能存在相同名称的flow,一个flow下不能存在相同名称的job 特点 1、 兼容任何版本的 had...
Azkaban（三）：进阶案例-java作业类型案例、条件工作流案例、定时执行案例
qq_55906442的博客
10-15 713
Azkaban中预置了几个特殊的判断条件，称为预定义宏。预定义宏会根据所有父job的完成情况进行判断，再决定是否执行。可用的预定义宏如下：1）all_success：表示父job全部成功才执行(默认)；2）all_done：表示父job全部完成才执行；3）all_failed：表示父job全部失败才执行；4）one_success：表示父job至少一个成功才执行；5）one_failed：表示父job至少一个失败才执行；案例需求：jobA和jobB分别执行。
Azkaban进阶之JavaProcess任务类型
秃头的博客
10-16 248
JavaProcess任务类型 JavaProcess类型可以运行一个自定义主类方法，type 类型为javaprocess,可用配置为: Xms: 最小堆 Xmx: 最大堆 classpath: 类路径 java.class: 要运行的Java对象，其中必须包含Main方法 main.args: main方法的参数 案例 新建一个azkaban的maven工程 创建包名: com.wxy 创建Test类 package com.wxy.ak; public class TestJavaProc
六十二、Azkaban使用示例
象在舞的技术专栏
04-29 1716
上一篇文章我们简单介绍了一下Azkaban以及怎样安装部署Azkaban，本文我们通过几个案例来看一下怎样使用Azkaban。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~ 一、Azkaban调度单一job 1、创建job文件 type=command command=echo 'This is first Azkaban job.' 这里需要注意的是，job文件的后缀必须为.job，且需要将保存好的文件压缩成.zip格式，作业名称在项目中必须是唯一的。 2、启动Azkaban，并创建.
java 二次封装azkaban 实现azkaban任务的执行
一杯咖啡半杯糖的博客
01-27 1203
本解决方案基于azkaban 3.84.4版本 整个一套下来，很复杂，很容易配置错误，本解决方案基于此应运而生，本解决方案优点如下 1、基于SSM架构，基于springboot实现，可用接口调用 2、azkaban的复杂的依赖配置可以变成简单的参数传递，自动生成flow和上传flow，省去了中间复杂的配置过程，开箱即用 3、接口直接执行azkaban，无需人工登录azkaban触发执行 4、核心代码可以直接复用，用于对azkaban有定制需求的开发者
azkaban安装
01-25
多执行器的安装 编译等等，简单的流程，比较使用于新手
Azkaban简介
03-03
Azkaban是linkin的开源项目，开发语言为Java。Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系...
azkaban：Azkaban工作流管理器
02-03
阿兹卡班建立Azkaban构建使用Gradle并需要Java 8或更高版本。 以下命令集可在* nix平台（例如Linux，OS X）上运行。 # Build Azkaban./gradlew build# Clean the build./gradlew clean# Build and install ...
Azkaban3.X编译打包
chudajin2983的博客
07-05 388
今天记录下Azkaban3.57版本的编译，此文是在idea编译且打包的过程。如果在linux上，则须按照官方文档操作即可，linux编译打包我会再起一篇文档。 build Azkaban3.x 的依赖： gradle 、JDK 1、先安装JDK，Azkaban3....
保姆级教程：Azkaban执行jar包（带测试样例及结果）
天然玩家的博客
07-07 827
核心： （1）Azkaban执行jar包：jar包中必须包含程序正常执行的所有依赖包，这也要求打包时必须将依赖打到jar包中； （2）执行jar包的job类型为：javaprocess； （3）配置执行main函数的类全限定名，用于执行main方法； （4）Azkaban执行jar包通过：java -cp完成； （5）可以通过job配置虚拟机参数。...
Azkaban详细实战
@小刘同学nice
07-20 402
Azkaba内置的任务类型支持command、java 单一job案例 创建job描述文件 [liujh@hadoop102 jobs]$ vim first.job #first.job type=command command=echo 'this is my first job' 将job资源文件打包成zip文件 [liujh@hadoop102 jobs]$ zip first.zip ...
azkaban 与 java任务_azkaban 任务流设置
weixin_36183642的博客
02-23 439
azkaban 简单demo一. azkaban job简单配置1. 目录结构lib 目录下，为java的jar包script 目录下，是shell脚本sql 目录下，是hive sql脚本2. 定义flow1信息2.1. f1/az-hive-01.job12345type: hiveazk.hive.action: execute.queryhive.script: sql/az-hive-0...
java调用azkaban接口
kuun993的博客
04-07 1622
我也不知道为什么要写这一篇，其实我也不懂的，就用一下，就记录一下吧。---- 使用RestTemplate调用接口、由于azkaban接口是https请求，需要重写RestTemplate，代码如下： public class HttpClientUtils { public static CloseableHttpClient acceptsUntrustedCertsHttpClien...
大数据之Azkaban 进阶邮箱和电话告警完整使用(第三章)
小坏说后端
12-28 1693
大数据之Azkaban 进阶邮箱和电话告警完整使用一 、Azkaban 进阶1 JavaProcess 作业类型案例1）新建一个 azkaban 的 maven 工程2）创建包名：com.atguigu3）创建 AzTest 类4）打包成 jar 包 azkaban-1.0-SNAPSHOT.jar5）新建 testJava.flow，内容如下 一 、Azkaban 进阶 1 JavaProcess 作业类型案例 JavaProcess 类型可以运行一个自定义主类方法，type 类型为 javaproces
大数据任务调度器 —— Azkaban 3.0 进阶应用
最新发布
JIE的博客
04-12 1180
使用condition配置项来指定设置的条件，通常会配合运行参数一起使用。运行参数是 Azkaban 允许用户在同一个工作流中定义的环境变量，将其写入到文件中，提供给其它 Job 进行使用。例如：在JobA中定义的变量，能够在JobB中进行读取并使用。假设我们当前要实现JobAJobB。其中JobB依赖于JobA，且JobB必须在周日执行。那么，根据需求，配置了如下flownodes:- JobA # 判断是否为周日 condition: ${JobA : week} == 7在JobA中执行的。
azkaban与java之间使用
xh2219180865的博客
07-15 751
@azkaban与java之间使用 azkaban调用java类型job 创建一个allocation_send_mail.job // A code block #A.job type=command command=bash ./A.sh 创建一个A.sh脚本，url为外网url 注：Windows下编辑shell脚本时，有时会报错 syntax error near unexpected token `fi’ 解决方法：链接: [link]https://blog.csdn.net/jsqfengb
通俗易懂的Azkaban教程（含配套资料）
08-29
Azkaban是一个Hadoop workflow定时调度工具，它解决了多个Hadoop任务单元之间的前后依赖关系。它提供了十分友好的用户界面，使用简单，容易上手。在本课程中，你将学到，Azkaban的安装部署，Azkaban基础架构，Azkaban定时调度工作流程（包含Shell、MapReduce、Hive等）、Azkaban邮箱通知。
Azkaban－开源任务调度程序（使用篇）
huanghai的专栏
04-22 4344
Azkaban－开源任务调度程序（使用篇） 字数1271 阅读779 评论5 喜欢10 上篇文章说到了安装，这次说说使用 登录 https://localhost:8443 注意是https，采用的是jetty ssl链接。输入账号密码azkaban/azkanban（如果你之前没有更改的话） 首页 首页有四个菜单 projects：最重
azkaban调度java任务详细步骤
03-11
首先，需要在Azkaban中创建一个项目，然后在该项目中创建一个Flow。接下来，需要在Flow中添加一个Job，...然后，可以在Azkaban中执行该Flow，Azkaban会自动调度Java任务并执行。具体的步骤可以参考Azkaban的官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值