kettle spoon创建带参数定时任务并关闭它

已于 2024-02-08 14:32:42 修改
阅读量1.5k 收藏 19
点赞数 23
分类专栏： hadoop 文章标签： kettle etl mysql mysql8
于 2024-02-06 14:30:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjcjava/article/details/136035700
版权

文章目录

ETL是什么

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库；

通俗讲：将数据从一种存储介质或者格式转换为另一种存储介质或者格式的过程；

下载安装kettle和mysql8

两种下载方式

  • 官网下载kettle，需要在官网填写注册信息，下载的会是最新版本的kettle，2021.3.19日官网最新9.1版本。官网地址
  • 百度搜索下载kettle的地址，可能版本不是最新。下载kettle地址。最新版本8.2。

安装步骤

Kettle是纯Java编写的ETL开源工具，目前Kettle7和Kettle8都需要Java8或者以上才能正常运行。所以开运行Kettle前先检查Java环境是否正确配置，Java版本是否是8或者以上。

  • Kettle可在linux、windows上安装，本文基于windows安装
  • 直接解压缩到指定目录下，双击Spoon.bat运行
  • 如果需要连接数据库。下载连接指定数据库需要的jar文件。直接搜索下载即可。比如连接oracle数据库，搜索下载 java连接oracle的jar包，数据库官网一般都有的下载。

资源下载

kettle的安装与连接mysql(包含mysql8)简单使用,
kettle安装下载地址：
官网地址：
https://community.hitachivantara.com/s/article/data-integration-kettle

下载地址：
https://sourceforge.net/projects/pentaho/files/

  • 下载mysql8.0的jar驱动
    https://mvnrepository.com/artifact/mysql/mysql-connector-java/8.0.19

  • 将下载好的mysql的驱动放到kettle安装文件中的lib下面，然后重启Spoon

使用kettle之前要确保jdk安装配置环境变量完成。

新版本的可以支持mysql8了，但是我这里是服务器上已经有7.0的版本了默认只支持mysql8以下的版本驱动，主要是驱动名称无法手动修改，因此需要mysql8只能通过其他方式；
这里主要使用通用数据库方式和JNDI方式；个人推荐第一种

数据库连接方式

除了系统已经提供的数据库类型选择进行数据库连接外，通常有些数据库没有已有定义，但是系统提供了通用连接可以创建未曾加入的数据库类型。

已定义的数据库类型进行连接

已经定义的数据库类型是已经默认设置了驱动名称的，只需要手动输入数据库地址和账号密码即可。但是如果是低版本的，mysql数据库只支持mysql7以下的（包括mysql7），不支持mysql8。这里就不适用已定义的数据库类型了，需要选择其他方式创建连接。
在这里插入图片描述

Generic Database方式连接

  • 创建kettle数据库连接
    数据库类型选择Generic Database

注意：
驱动这里填写mysql6之后的版本是：com.mysql.cj.jdbc.Driver
mysql6之前的驱动是：com.mysql.jdbc.Driver
在这里插入图片描述

JNDI方式

这钟方式我没有连接成功，配置还是明文方式不太建议
参考原文
https://www.cnblogs.com/sakura–/p/11443491.html

运行方式

名称功能
Spoon.bat / spoon.sh（重点）通过图形接口，允许你通过图形界面来设计 ETL 转换过程（Transformation）
Pan.bat / pan.sh运行转换的命令行工具-命令行模式运行
Kitchen.bat / kitchen.sh运行作业的命令行工具-命令行模式运行
Carte.bat / Carte.shCarte是一个轻量级别的 Web 容器，用于建立专用、远程的 ETL Server

大多数我们都是使用GUI界面图标先执行一遍，没问题之后会使用命令行模式做定时任务执行

‘kitchen’是启动‘.kjb’文件；而 ‘pan’是启动‘.ktr’文件；

启动脚本实例：

:: 启动job脚本
d:
cd D:\devtools\kettle\pdi-ce-8.2.0.0-342\data-integration
kitchen.bat /file=E:/测试数据抽取/test.kjb /level=Basic /logfile=D:/日志文件/logfile/测试任务.log

启动转换任务：

 d:
cd D:\devtools\kettle\pdi-ce-8.2.0.0-342\data-integration
pand.bat /file=E:/测试数据抽取/test.ktr /level=Basic /logfile=D:/日志文件/logfile/测试任务.log

使用案例教程

已经有其他博主写了详细的使用案例教程
https://www.jianshu.com/nb/19605161

插入
插入更新：https://www.jianshu.com/p/720529e627c0

执行成功发送邮件：https://blog.csdn.net/qq_42025798/article/details/127263507

高级-自定义插件
https://blog.csdn.net/u013468915/category_8043286.html

定时job执行增量插入转换

这里以mysql为例，创建一个表log，复制该表为log_1
给log插入N条数据；
目的是从log表中获取增量数据插入到log_1表中

  • 先创建转换任务
  • 再创建定时任务job
新建转换

  1. 新建-转换：输入选择-表输入
    数据库连接选择前面创建的数据库连接；
    在这里插入图片描述
    SELECT * FROM log limit 5//这里模拟5条每次

  2. 新建输出：目标表直接填写log_1的表名
    在这里插入图片描述

  3. shift+连接，ctrl+s保存文件
    在这里插入图片描述

4.测试点击下面的在这里插入图片描述箭头运行：运行完成没有报红色异常，则可以看到log_1表中有五条数据了
在这里插入图片描述

新建定时任务job

  1. 新建-作业(J): 添加通用-START组件，配置调度为重复时间间隔为5分钟一次=每5分钟执行一次
    在这里插入图片描述
    还可以下拉选择按天重复执行；按天则天数可以编辑，否则就是按可编辑的时间重复

  2. 添加通用-转换：选择上一步创建的增量任务文件
    在这里插入图片描述

  3. shift+连线：保存job到本地
    在这里插入图片描述

  4. 点击箭头执行，它会不停的5分钟一次执行，查看执行结果，绿色START开始-黑色START结束
    在这里插入图片描述

关闭定时任务job

一旦启动它会一直再进程中运行，如果要关闭只能在进程中选择右键-结束进程来关闭它
这里带来一个问题就是，我无法从进程中判断它是哪个java项目的进程（因为开的java服务比较多），因此还是推荐有窗体的更直观，除非服务很稳定之后不需要再关闭了

在这里插入图片描述

命令行运行定时任务job

前面我们介绍了 Kettle的Spoon的转换和作业定时任务GUI设计方式以及运行，但是在实际应用中，我们需要计划任务是在服务器后台运行。

首先我们需要了解Kettle的Kitchen和Pan

  • Kitchen——作业(job)执行器 (命令行方式)
  • Pan——转换(trasform)执行器 (命令行方式)

重点讲解经常会用到的 ***作业执行器 Kitchen.bat *** 。参数项使用 /rep：参数值 或者 -rep=参数值 这两种方式都可以。

Kitchen 参数说明：
-rep：Repository name 任务包所在存储名
-user：Repository username 执行人
-pass：Repository password 执行人密码
-job：The name of the job to launch 任务包名称
-dir：The directory (don''t forget the leading / or )
-file：The filename (Job XML) to launch
-level：The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing) 指定日志级别
-log：The logging file to write to 指定日志文件
-listdir：List the directories in the repository 列出指定存储中的目录结构。
-listjobs：List the jobs in the specified directory 列出指定目录下的所有任务
-listrep：List the defined repositories 列出所有的存储
-norep：Don''t log into the repository 不写日志

命令行执行任务

Windows编写Bat脚本文件
1、新建一个bat文件，命名job.bat，然后编辑，输入内容如下：

:: Kitchen.bat所在路径盘符
d:  
:: Kitchen.bat所在目录
set ROOT_DIR=D:\workspace\IDE\kettle
cd %ROOT_DIR%

:: 作业（job）文件路径和日志文件路径
:: 执行kitchen执行job，并写入日志
kitchen /file:%ROOT_DIR%\spd-job.kjb /level:Base>>%ROOT_DIR%\logs\test.log

双击运行，可以看到我们之前被清空的log_1中有数据进来了

注意：确保路径的正确性。windows bat文件中注释符为:: 使用notebook编辑时，记得编码改为ANSI编码，否则会乱码。

后台运行脚本文件

我们已经建立了命令行运行的bat文件，并且已经可以正确执行我们的ETL任务了，但是现在我们在运行bat后，桌面上面会一直存在一个控制台的黑窗口，我们可以使用bat命令中的隐藏窗口的命令。

在上面的脚本文件头部加入如下内容即可

@echo off

if "%1" == "h" goto begin
mshta vbscript:createobject("wscript.shell").run("%~nx0 h",0)(window.close)&&exit
:begin


:: Kitchen.bat所在路径盘符
d:  
:: Kitchen.bat所在目录
set ROOT_DIR=D:\workspace\IDE\kettle
cd %ROOT_DIR%

:: 作业（job）文件路径和日志文件路径
:: 执行kitchen执行job，并写入日志
kitchen /file:%ROOT_DIR%\spd-job.kjb /level:Base>>%ROOT_DIR%\logs\test.log

启动后可以看到是没有黑色的命令行窗体的，但是任务管理器中的进程有个Java进程在运行
在这里插入图片描述
提一嘴：如果有多个java项目运行这里是很难区分谁是谁的，那么就要点开详细配合命令查看进程ID了
根据启动项我们就可以很容易区分具体是哪个项目，然后在任务管理器的详细中根据PID杀进程关闭服务

# 会列出所有jvm进程和对于的PID  启动项运行的jar
jcmd -l

设置系统变量和获取系统变量

如果我们要查询的是前一天的数据，比如 jf_dattime = ‘2024-01-02’,这个日期每次运行的时候都是变化的，怎么设置变参；
获取参数方式

  • 或许系统参数，可选项比较少基本都是日期类型而且不一定符合比如yyyy-mm-dd就没有这种格式，而且不支持格式转换
  • 使用脚本设置变量获取，支持java,javaScript脚本
获取系统变量

在作业中创建-输入-获取系统信息，设置为获取昨天
在这里插入图片描述

同时加入如下组件，这里设置变量是从javascript中获取的day值给系统变量day;

在这里插入图片描述

脚本:

Date.prototype.Format = function (fmt) { //author: meizz 
    var o = {
        "M+": this.getMonth() + 1, //月份 
        "d+": this.getDate(), //日 
        "h+": this.getHours(), //小时 
        "m+": this.getMinutes(), //分 
        "s+": this.getSeconds(), //秒 
        "q+": Math.floor((this.getMonth() + 3) / 3), //季度 
        "S": this.getMilliseconds() //毫秒 
    };
    if (/(y+)/.test(fmt)) fmt = fmt.replace(RegExp.$1, (this.getFullYear() + "").substr(4 - RegExp.$1.length));
    for (var k in o)
    if (new RegExp("(" + k + ")").test(fmt)) fmt = fmt.replace(RegExp.$1, (RegExp.$1.length == 1) ? (o[k]) : (("00" + o[k]).substr(("" + o[k]).length)));
    return fmt;
}
//前一天的时间
var dtNew=new Date(new Date().getTime()-1*24*60*60*1000).Format("yyyy-MM-dd");

从js中获取的dtNew值重命名为本地变量day,为的是下一步赋值给系统变量day；为了少走弯路我这里没注意有没有什么要重命名；先这样
在这里插入图片描述

最后添加获取变量主要是为了展示当前的系统变量值是多少
在这里插入图片描述

运行看结果：可以看到这里的值既不是系统变量中获取的0000结尾的格式也不是默认值111，说明获取正确
在这里插入图片描述

设置带参数的转换任务

修改转换任务输入的sql脚本如下,可以看到day是参数模式，需要勾选下面的替换sql变量选项；

SELECT * FROM his_qnz_jf_log WHERE  DATE_FORMAT(Jfsj,'%Y-%m-%d') ='${day}'

在这里插入图片描述

接着把上面一步中设置环境变量和或许环境变量的图直接拷贝过来如下图；
在这里插入图片描述

运行结果可以看到把昨天日期的数量导入到log_1表中了，如果中间day的结果不是yyyy-mm-dd格式，这个个sql都查不到数据，log_1也会没有数据；

而job中不需要设置参数，保存仍然可以自己跑就行了；当然还有一些情况是job中需要携带 配置信息的，这种；目前没用到资料我就不找了。

参考文章

命令行运行kettle任务：https://blog.csdn.net/qq_22310551/article/details/115163517
获取系统变量和js设置系统变量脚本: https://blog.csdn.net/m0_69235938/article/details/127528576

牧竹子
关注
  • 23
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kettle定时任务
09-14
kettle定时任务 数据抽取
springboot定时任务的动态开启关闭
03-07
SpringBoot实现定时任务的动态开启关闭，如有疑问联系wx: hsj179540
Kettle用法之定时任务
helloworldchina的博客
01-11 5741
前面讲述了kettle调用Restful API接口，当时只生做了一个转换，本文提到的定时任务将调用上文做的转换。
windows环境下做kettle定时调度
m0_46411851的博客
01-31 942
点击标红部分，解压使用。点击Spoon.dat可使用图形化操作界面。
kettle介绍-参数变量
最新发布
weixin_43398232的博客
04-02 931
Transformation Step中的数据可以传递给Transformation Executor，在Transformation Executor 调用的组件中可以直接当变量使用：通过${VARIABLE}或者%%VARIABLE%% 使用；这个参数表示当前的实体保存的位置，比如在Job中使用，则表示Job保存的位置，Transformation中表示Transformation的位置。凡是带有方块图标的文本框中都可以通过${VARIABLE} %%VARIABLE%% 使用变量。
Kettle作业的自带定时任务
weixin_30680385的博客
06-10 340
文章出处：https://blog.csdn.net/jianlong727/article/details/53966286 7.1、新建作业 7.2、部署作业在“核心对象”中拖拽两个图标到执行区 分别是“START”和“转换”图标，并连接起来 7.3、配置“START”双击“START”按钮，配置定时时间等信息勾选“重复”选项可以重复执行任务我设定的是每天早上...
Kettle 定时任务 详细教程
weixin_68547003的博客
01-29 2842
Kettle 定时任务 详细教程
linux定时任务怎么取消,Linux下定时任务的查看及取消
weixin_31597881的博客
05-14 5660
$ crontab --helpcrontab：无效选项 -- -crontab: usage error: unrecognized optionusage: crontab [-u user] filecrontab [-u user] [ -e | -l | -r ](default operation is replace, per 1003.2)-e (edit user's...
Spoon设置定时执行
weixin_42634971的博客
06-15 2172
Spoon设置定时执行 新建作业 然后核心对象下通用点击START 转换 成功 如下图 双击转换 选择自己要设置定时的转换 鼠标移动到START上点击这个小铅笔 在这里就可以设置定时了
文摘标题：JAVA带参数调用KETTLE远程服务执行任务
06-29
本资源主要内容包括（资源有保证，都是干货，一看就会）： ...2.JAVA传参调用KETTLE远程服务执行任务实现过程及注意事项说明。 3.附件包括：配套说明文档、代码包、KETLLE任务测试文件及数据库脚本。
Kettle Spoon中文完整版(ETL工具)
11-13
官网下载需要注册，这里附官网的不用注册的直链，如果官网链接较慢，这里还有网盘链接。（自用备份，亲测可用）
PDI.pptx Kettle的Spoon使用教程（包括carte,pan,kitchen）
12-03
总结来说，PDI（Kettle）是一个强大的ETL工具，通过Spoon提供的图形化界面，使得数据抽取和转换变得直观易用。配合Job、Transformation、Kitchen、Pan和Carte等组件，PDI能够满足各种数据处理场景的需求，无论是在...
1.Kettle （Spoon） 教程 中文详解 pdf
04-04
Kettle （Spoon） 教程 中文详解 pdf,Kettle （Spoon） 教程 中文详解 pdf,Kettle （Spoon） 教程 中文详解 pdf,Kettle （Spoon） 教程 中文详解 pdf
Kettle之定时运行Job
热门推荐
fang.lovest.yang的博客
03-24 1万+
Kettle做定时任务有两种方式。 第一种是kettle自带的Start控件，缺点是kettle程序必须始终运行，浪费内存。 第二种是使用系统的定时功能。使用Kitchen、Pan命令编写bat、sh脚本，然后使用windows任务计划或者linux的crotab实现定时执行执行脚本。 （一）Start控件执行定时任务 我们需要建立一个job，来让转换定时执行。 操作步骤 1、运行软件，进入主界面。点击左上角的 文件 → 新建 → 作业(J)新建一个作业（job），并...
kettle实例-数据一致性处理设置定时
fxxhmn的博客
10-11 803
从控制台的日志输出可以看出，作业每隔5秒会执行一次转换实现数据同步并且在执行过程中会记录处理的数据量以及当前时间段处理的数据条数。2.双击“Start”控件，进入“作业定时调度”界面；勾选“重复”处的复选框；单击“类型”处的下拉框，选择“时间间隔”定时，并设置以秒计算的间隔是5，以分钟计算的间隔是0。1.通过使用Kettle工具，创建一个作业data _consistency_job，并添加“Start”控件、“转换”控件以及作业跳连接线。3.双击“转换”控件，进入“转换”界面；
ETL工具kettle怎么做定时任务
weixin_34255793的博客
08-27 1959
kettle做定时任务平时任务中经常需要用两种方法；一、kettle自带的功能。具体操作如下：首先形成一个job，然后点击开始组件；结果如图：当需要定时时，那么就是需要重复；此时勾选重复选项，然后点击类型下拉选选择你需要定时的类型，如时间间隔，天，周，月；如果选择时间间隔，意味着你每隔多长时间执行一次，单位是分秒，自行选择。如图当选择了天，那么就是意味着在每天的几点执行，如图当选择了周，就意味这是...
kettle(spoon)-水壶，表输入、输出，Windows调用定时任务
Mr.Meng
11-30 2213
1 转换 <1>新建 <2> 创建表输入的数据库链接 <3> 创建输出的数据库链接 <4> 点击空白添加参数 <5> 参数使用 2 作业 <1>创建作业 <2>start(ps：使用Windows定时任务) <2>转换选择1创建的转换 &l...
kettle中job的定时执行
zhx0114的博客
05-29 8178
在完成job后经常会有定时执行的需求，一种是在start中设置，但是需要串口一直存在，操作起来不太方便；另外就是在kettle中添加.bat文件，然后把.bat文件添加到计算机的任务计划中定时执行，具体操作如下： 1、为了方便区别，现在data-integration（kettle解压文件的根目录）下创建新的文件夹； 2、在文件夹下创建.bat文件； .bat文件内容如下： @...
kettle基础入门(二)kettle定时任务执行
etl菜鸟
03-17 1万+
kettle定时操作详细步骤，避免小白各种踩坑
KETTLE定时任务
08-27
KETTLE 是一款开源的 ETL 工具，可以用于数据集成、数据转换和数据传输等任务。在 KETTLE 中，可以通过定时任务来自动执行一系列的数据处理操作。 要设置 KETTLE 的定时任务，你可以按照以下步骤进行操作： 1. 创建一个转换或作业：首先，你需要创建一个包含所需数据处理操作的转换或作业。可以使用 KETTLE 的图形界面工具 Spoon 来创建和编辑转换或作业。 2. 配置定时任务：在 KETTLE 中，你可以使用 Cron 表达式来配置定时任务的触发时间。Cron 表达式是一种时间表达式，可以指定任务在哪些时间点执行。你可以根据自己的需求来配置 Cron 表达式，例如每天的特定时间、每周的某天等。 3. 配置调度器：KETTLE 使用一个调度器来管理和执行定时任务。你可以在 KETTLE 的服务器配置文件中配置调度器相关的参数，例如调度器的线程数、任务的最大并发数等。 4. 启动调度器：一切配置完成后，你可以启动 KETTLE 的调度器来开始执行定时任务。调度器将按照你设置的 Cron 表达式自动触发任务的执行。 通过以上步骤，你可以在 KETTLE 中设置定时任务，并实现自动化地执行数据处理操作。希望这能对你有所帮助！如有任何疑问，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值