kettle数据交换
zxf_noimp
这个作者很懒,什么都没留下…
展开
-
kettle获取上一步骤的参数并执行表输入
假设场景:需要定时获取增量数据,并交换到其他库,需要先获取本地库最大的编号后,把该参数传递到第三方后查询增量数据。1、 整体流程2、表输入:用来查询本地数据库最大的已同步编号,需要把参数maxId传递到下一步骤3、表输入组件接受参数...原创 2019-10-30 15:43:29 · 7958 阅读 · 0 评论 -
kettle中的记录集连接
如果下一个步骤获取参数需要从多个入口获取,通常我们会用一条SQL语句进行连接查询结果到下一个节点;kettle为我们提供了“记录集连接”功能来获取多个步骤得来的数据参数到下一个步骤。组件:如下图所示:执行java 代码需要获取连个步骤的参数,则需要用记录集连接来进行数据合并。数据连接后下一个步骤获取的两个步骤的参数值:记录集连接连接字段就是下图 第一个...原创 2019-07-24 11:30:14 · 5042 阅读 · 0 评论 -
kettle资源库导入导出
一、导出工具->资源库->探索资源库 就可以看见资源库里面的资源了。如果要导出资源库里面的某个目录就右键就行了。如果要导出全部资源库的文件就如下图所示将资源库导出其实也是一个xml文件。选择一个路径保存xml二、导入tools--->repository--->import repository选择导入目录注...原创 2019-04-17 14:33:29 · 9119 阅读 · 1 评论 -
kettle创建资源库
kettle资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。资源库有两种形式:(1)、Kettle database repository,即保存在各种常见的数据库资源库类型,用户通过用户名/密码来访问资源库中的资源,默认的用户名/密码是admin/...原创 2019-04-15 10:35:10 · 970 阅读 · 0 评论 -
kettle 中的判断组件
一、类似:检查web服务是否可用,该组件通常会产生一条正确的线和一条失败的线,用来执行成功和失败的下一个节点。原创 2019-07-24 16:05:49 · 2918 阅读 · 0 评论 -
kettle中httpClient组件发宋体http get请求
本示例记录利用kettle中的httpClient组件来调用get请求方式的api接口来获取数据。总览:通常调用http client组件前需要有获取数据的相关组件http client组件中选择 从字段中获取URL,并选择URL字段名称:结果字段名为输出的结果Json输入 组件接口result值,并解析数据(如果请求的接口返回的是json格式):...原创 2019-07-24 16:12:55 · 4089 阅读 · 0 评论 -
kettle中rest client 组件发宋体http post请求
本示例演示使用kettle中的 rest client 组件来模拟post请求。全部流程步骤:(1)、生成记录:用来生成rest请求所需参数,url为请求的地址,body为post的body参数。(2)、分别接受url和body参数,并设置application type 为json格式,result为rest请求返回的值。(3)、json output组件用来...原创 2019-07-24 16:17:21 · 3518 阅读 · 5 评论 -
kettle中执行java代码
kettle中有时候需要从http接口的请求中获取数据,故会使用java代码组件来调用http接口;新建的java代码组件的必须有上一步骤,否则不会执行。1、固定的模版import java.io.UnsupportedEncodingException;import java.io.IOException;public boolean processRow(StepMe...原创 2019-07-23 09:14:02 · 1779 阅读 · 0 评论