用azkaban执行java

最新推荐文章于 2024-10-16 10:13:45 发布
最新推荐文章于 2024-10-16 10:13:45 发布
阅读量394 收藏 1
点赞数
文章标签： java intellij-idea jar
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zqt726/article/details/130346378
版权
文章描述了如何使用IntelliJIDEA将Java项目打包成JAR，设置主类，并将JAR部署到服务器。接着编写job文件，将其压缩为zip文件，然后在Azakaban平台上创建项目并上传此zip文件进行测试执行。
摘要由CSDN通过智能技术生成

1、打包java文件为jar包（用的是idea打包的办法）

file->project structure

Artifacts->JAR->From moudules with dependencies

点击文件加，选择要执行的主类

点击apply，然后点ok

点Build->Build Artifacts

点build

可以看到生成了jar包

2、写job文件

写一个test.job

需要把jar包放到服务器上去，classpath为服务器上放置该jar包的位置

3、把test.job文件压缩成test.zip

4、在azakaban上创建项目

5、把test.zip上传

6、执行进行测试

zqt726
关注
保姆级教程：Azkaban执行jar包（带测试样例及结果）
天然玩家的博客
07-07 966
核心： （1）Azkaban执行jar包：jar包中必须包含程序正常执行的所有依赖包，这也要求打包时必须将依赖打到jar包中； （2）执行jar包的job类型为：javaprocess； （3）配置执行main函数的类全限定名，用于执行main方法； （4）Azkaban执行jar包通过：java -cp完成； （5）可以通过job配置虚拟机参数。...
java语言springboot 二次封装azkaban 实现azkaban 的创建 执行
01-27
1、基于SSM架构，基于springboot实现，可用接口调用 2、azkaban的复杂的依赖配置可以变成简单的参数传递，自动生成flow和上传flow，省去了中间复杂的配置过程，开箱即用 3、接口直接执行azkaban，无需人工登录azkaban触发执行 4、核心代码可以直接复用，用于对azkaban有定制需求的开发者
Java使用azkaban
beiduofen2011的专栏
11-11 1266
azkaban是一个批量工作流调度器，由三部分组成 executor server,web server ,mysql executor server 和web server 是通过mysql进行数据交互的，可以独立部署 azkaban任务分为3个层次：project ,flow, job ，当上传project ,flow, job名称都一样的job的时候，会进行覆盖，一个project不能存在相同名称的flow,一个flow下不能存在相同名称的job 特点 1、 兼容任何版本的 had...
SpringBoot开发azkaban Java类型任务
Java技术大杂烩博客
01-31 1010
在上篇文章中，详细介绍了 azkaban服务的安装，现在就用SpringBoot来开发一个azkaban的调度任务，上传到web界面运行。 azkaban调度类型 azkaban 可以支持非常多的任务类型，这一点在官方网站有说明，它支持的任务类型有如下几种： Command：使用Linux shell命令行任务。HadoopShell：这和Command一样也是命令类型，只不过可以和Hadoop集群通信Java：Java任务hadoopJava：也是一种Java类型，可以和hadoop集群通信，可以通过
Azkaban（三）：进阶案例-java作业类型案例、条件工作流案例、定时执行案例
qq_55906442的博客
10-15 852
Azkaban中预置了几个特殊的判断条件，称为预定义宏。预定义宏会根据所有父job的完成情况进行判断，再决定是否执行。可用的预定义宏如下：1）all_success：表示父job全部成功才执行(默认)；2）all_done：表示父job全部完成才执行；3）all_failed：表示父job全部失败才执行；4）one_success：表示父job至少一个成功才执行；5）one_failed：表示父job至少一个失败才执行；案例需求：jobA和jobB分别执行。
Azkaban进阶之JavaProcess任务类型
秃头的博客
10-16 268
JavaProcess任务类型 JavaProcess类型可以运行一个自定义主类方法，type 类型为javaprocess,可用配置为: Xms: 最小堆 Xmx: 最大堆 classpath: 类路径 java.class: 要运行的Java对象，其中必须包含Main方法 main.args: main方法的参数 案例 新建一个azkaban的maven工程 创建包名: com.wxy 创建Test类 package com.wxy.ak; public class TestJavaProc
六十二、Azkaban使用示例
象在舞的技术专栏
04-29 1794
上一篇文章我们简单介绍了一下Azkaban以及怎样安装部署Azkaban，本文我们通过几个案例来看一下怎样使用Azkaban。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~ 一、Azkaban调度单一job 1、创建job文件 type=command command=echo 'This is first Azkaban job.' 这里需要注意的是，job文件的后缀必须为.job，且需要将保存好的文件压缩成.zip格式，作业名称在项目中必须是唯一的。 2、启动Azkaban，并创建.
java 二次封装azkaban 实现azkaban任务的执行
一杯咖啡半杯糖的博客
01-27 1287
本解决方案基于azkaban 3.84.4版本 整个一套下来，很复杂，很容易配置错误，本解决方案基于此应运而生，本解决方案优点如下 1、基于SSM架构，基于springboot实现，可用接口调用 2、azkaban的复杂的依赖配置可以变成简单的参数传递，自动生成flow和上传flow，省去了中间复杂的配置过程，开箱即用 3、接口直接执行azkaban，无需人工登录azkaban触发执行 4、核心代码可以直接复用，用于对azkaban有定制需求的开发者
azkaban-java-api.zip
07-18
其次，"azkaban-java-api-master.zip"可能是Azkaban Java API的源代码仓库。解压后，用户可以查看API的具体实现细节，学习如何使用API，甚至根据自身需求进行定制和扩展。源代码通常包含README文件，提供了关于如何...
azkaban解压即用
07-24
在开始运行Azkaban之前，用户需要确保他们已经安装了Java运行环境（JRE），因为Azkaban是用Java编写的。此外，根据Azkaban的文档，可能还需要对`conf/azkaban.properties`进行配置，设置数据库连接信息、Azkaban...
azkaban-3.65.0 解压就能用
01-05
- 在部署Azkaban前，确保系统已安装Java运行环境。 - 配置Azkaban时，需要正确设置数据库连接信息，以确保数据持久化。 - 工作流定义文件应遵循Azkaban的规范编写，否则可能导致解析错误。 - 如果需要扩展Azkaban的...
azkaban-plugins:Azkaban的插件
05-14
2. **执行器插件**：定制作业执行器，以适应不同的运行环境或处理特殊任务，如分布式执行或资源限制。 3. **日志收集插件**：扩展日志收集和分析能力，例如集成ELK（Elasticsearch, Logstash, Kibana）堆栈进行实时...
azkaban运行java程序_Azkaban实战-java操作任务
weixin_39753397的博客
03-02 821
使用Azkaban调度java程序1.编写java程序import java.io.FileOutputStream;import java.io.IOException;public class AzkabanTest {public void run() throws IOException {// 根据需求编写具体代码FileOutputStream fos = new FileOutput...
Azkaban3.X编译打包
chudajin2983的博客
07-05 434
今天记录下Azkaban3.57版本的编译，此文是在idea编译且打包的过程。如果在linux上，则须按照官方文档操作即可，linux编译打包我会再起一篇文档。 build Azkaban3.x 的依赖： gradle 、JDK 1、先安装JDK，Azkaban3....
java调用azkaban接口
kuun993的博客
04-07 1681
我也不知道为什么要写这一篇，其实我也不懂的，就用一下，就记录一下吧。---- 使用RestTemplate调用接口、由于azkaban接口是https请求，需要重写RestTemplate，代码如下： public class HttpClientUtils { public static CloseableHttpClient acceptsUntrustedCertsHttpClien...
azkaban 与 java任务_azkaban 任务流设置
weixin_36183642的博客
02-23 488
azkaban 简单demo一. azkaban job简单配置1. 目录结构lib 目录下，为java的jar包script 目录下，是shell脚本sql 目录下，是hive sql脚本2. 定义flow1信息2.1. f1/az-hive-01.job12345type: hiveazk.hive.action: execute.queryhive.script: sql/az-hive-0...
azkaban与java之间使用
xh2219180865的博客
07-15 779
@azkaban与java之间使用 azkaban调用java类型job 创建一个allocation_send_mail.job // A code block #A.job type=command command=bash ./A.sh 创建一个A.sh脚本，url为外网url 注：Windows下编辑shell脚本时，有时会报错 syntax error near unexpected token `fi’ 解决方法：链接: [link]https://blog.csdn.net/jsqfengb
通俗易懂的Azkaban教程（含配套资料）
08-29
Azkaban是一个Hadoop workflow定时调度工具，它解决了多个Hadoop任务单元之间的前后依赖关系。它提供了十分友好的用户界面，使用简单，容易上手。在本课程中，你将学到，Azkaban的安装部署，Azkaban基础架构，Azkaban定时调度工作流程（包含Shell、MapReduce、Hive等）、Azkaban邮箱通知。
【C++刷题】力扣-#121-买卖股票的最佳时机
最新发布
会写代码的饭桶
10-16 267
给定一个数组 prices，其中 prices[i] 表示第 i 天的股票价格。假设你可以在第 i 天买入并在第 j 天卖出股票（i ≤ j），设计一个算法来计算你所能获取的最大利润。注意你只能持有一股股票，并且你不能同时参与多笔交易（即在再次买入前必须卖出股票）。
"Azkaban任务类型详解：command和java类型及示例
而java类型任务就是基于原生java的任务，可以通过编写java代码来完成复杂的任务逻辑。 接下来，我们将分别介绍command和java两种任务类型的示例。对于command任务类型，我们可以通过编写shell脚本来完成任务逻辑，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值