如何通过Kettle获取接口数据并将记录导入数据库（包括分页）

最新推荐文章于 2024-06-22 21:15:00 发布
最新推荐文章于 2024-06-22 21:15:00 发布
阅读量7.5k 收藏 40
点赞数 11
分类专栏： Kettle 文章标签： mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zkx990121/article/details/111211960
版权

获取接口数据导入数据库（最基础）

接口中的数据一般为[JSON格式](https://baike.baidu.com/item/JSON/2462549?fr=aladdin)，详情可点击查看。
下面进入正题，大致为下图所示

在这里插入图片描述
（1）HTTP client
在这里插入图片描述
（2） JSON input
在这里插入图片描述
在这里插入图片描述
（3）字段选择
在这里插入图片描述
（补充：下文中补充了一些我遇到的JSON格式的路径写法，可以参考）
（4）表输出

最低0.47元/天 解锁文章
刚入门的小仙女
关注
  • 11
    点赞
  • 踩
  • 40
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
Kettle分页循环抽取全量数据,三步搞定
博客GordoHu
03-22 4836
Kettle分页抽取全量数据 , 适用于大数据量初次全量抽取转换.
再谈kettle两种循环之-调用http分页接口循环获取数据
最新发布
06-26
循环job可参考，变量运用可参考，调用http分页接口循环获取数据可参考，生成连续记录可参考，MD5加密可参考
kettle从入门到精通 第七十三课 ETL之kettle kettle调用http分页接口教程
zhangjin1222的博客
06-22 661
1） 这一步很重要，将单条数据变成list，如上一步的totalNum为3，这里会输出[{"paggNum":"2","pageSize":"20"},{"paggNum":"3","pageSize":"20"}]会循环上一步的结果[{"paggNum":"2","pageSize":"20"},{"paggNum":"3","pageSize":"20"}]2）这里的模拟http请求使用的是写日志步骤，具体场景中使用的是http post步骤。4）、循环页码list，单条数据请求http接口。
Kettle循环分批执行Rest client请求
weixin_40909201的博客
05-29 5069
业务需求，首先取到数据库中进件单号列表，发送Rest client请求，获取java执行的结果，根据结果更新数据库中进件信息。每次发送的进件单号过多的话，返回的信息量太大，代码报错。所以采用循环，将进件单号分批 执行。整体如下： javaScript代码如下： var currPage = parent_job.getVariable("CURR_PAGE");// 从job获取当...
kettle 调用java代码调用接口获取数据
qq_31532979的博客
04-18 505
请注意在使用这段代码获取数据之前，要确保接口的地址是正确可访问的。另外，由于这是一个简单的示例，没有处理异常和错误情况。在实际使用中，你可能需要进行错误处理和异常捕获。欢迎关注微信公众号：数据科学与艺术 作者WX:superhe199。最后将读取的数据拼接成一个字符串，并打印出来。这个对象用于设置请求方法、发送请求并获取响应。类来进行HTTP请求获取数据。对象，指定要请求的接口地址。在上面的代码中，我们首先创建一个。方法获取响应的输入流，然后使用。如果请求成功，我们可以通过。
kettle处理大数据量表-分页抽取数据
hzp666的博客
12-01 4929
概述： 总job，分三步，第一：先清空目标表； 第二，根据源表总的数据行，结合服务器配置 kettle每次能抽取插入多少行，算出需要分n次抽取，并生成1到n的序列值列表。 ps:生成1、2、3...n 的数据列，然后把每个值赋值给变量var_page, 根据var_page的值分页查询。 第三，根据第二步 生成的1、2、3...n的数据列，为每行都执行一次表插入，即实现分n次抽取数据插入。 在每次的执行中都根据变量，select 出对应的数据，进行表...
数据抽取-Kettl动态参数调用HTTP、POST接口
10-19
数据抽取-Kettl动态参数调用HTTP、POST接口
kettle分页抽取数据
小野爸爸的博客
01-08 1433
基于以上场景，通过java代码实现其实相当简单，做一个mysql分页，1000条匹配一次，但是用kettle还从来没做过分页，于是乎开始百度，但是大部分博主给的是错的，主要在变量部分，同一个转换中，“设置变量”后再通过${xx}获取变量值是获取不到的，必须跨转换才行，真的是比较奇怪。3.输出oaids，根据上一步的ids，查询oracle库的异常数据，并将异常数据输出到最开始建的表中。
kettle调用接口数据
aidadaren的博客
01-29 4878
使用kettle调度接口数据到数据库
KETTLE 实现循环调用用户信息接口
羊奇的博客
11-12 2723
当用户需要对接用户信息接口时，可以使用KETTLE进行分页读取用户信息，并更新到对应数据库中，效率高效。 1、首先根据最原始接口获取AccessToken值。此时数据由常量模块提供，可选GET或POST获取数据。 2、获取到的JSON数据可以使用JSON INPUT控件进行解析。 3、通过获取到的access_token值带入下一节点，获取第一个页面的数据，用于确定分页大小及总页数。 4、获取到的分页大小及分页数据后调用JavaScript模块进行数据拼接，并按照行的方式输出。 ..
Kettle（五）分页抽取、插入数据
ACGkaka的博客
05-14 2818
需求： 将MySQL中的数据进行分页抽取； 将分页抽取的数据插入到另一个MySQL表中。 整体架构 第一步，build_query_page 查询所有的页码，将页码保存到结果； 第二步，set_values 从结果中获取页码，将页码设置为环境变量； 第三步，execute_by_page 从环境变量中获取页码，根据页码，循环获取每页数据并输出到表中。 1.主流程 transfer_table1_to_table2.kjb 2.页数查询 build_query_page.ktr 2.1 i..
kettle动态解析XML文件数据导入Oracle或者其他数据库
05-26
kettle动态解析XML文件数据导入Oracle或者其他数据库 需求背景： 因为客户每天都要通过接口通过ftp上传固定格式的xml的文件，需要每天定时解析指定目录下的指定名称的xml文件导入Oracle和其他的数据库，所以开发了这...
ETL KETTLE 中利用Httpclient 调用webservice接口获取XML数据，并解析XML 数据
03-05
ETL KETTLE 中利用Httpclient 调用webservice接口获取XML数据，并解析XML 数据。 完整的KTR实例
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select ...
kettle同步数据库所有的表数据到其他库.rar
03-01
本示例中的"Kettle同步数据库所有的表数据到其他库.rar"是一个具体的应用场景，即利用Kettle将一个数据库的所有表数据同步到另一个具有相同表结构的数据库中。这里，我们不仅讨论如何实现这个功能，还将深入探讨...
使用Kettle动态生成页码并实现分页数据同步
Herishwater的博客
05-15 1376
文章目录需求思路解决方案根据表数据生成页码根据页码循环同步数据总结拓展参考文献 需求 将 DB2 数据库中的表数据导入另一个 DB2 数据库的表里面。 源表（DB2）：table1 目标表（DB2）：table2 数据量：千万级别 思路 当时直接使用 Kettle 将数据从源表导入到目标表中，但是考虑到数据量过于庞大，实际执行过程花费了很长时间，因此考虑采用分页导入的方式来进行数据传输，即： 根据实际情况设置一个每次处理的数据量，比如：5,000条，然后根据总的数据条数和每次处理的数据量计算出一共分几页。
kettle分页迁移数据
大勺哥的博客
01-19 4433
kettle分页迁移数据介绍个人开发环境软件架构安装教程使用说明 介绍 基于kettle开发的ETL数据迁移功能，具有分页功能，理论可稳定迁移大表。 kettle做数据库数据迁移的时候，如果数据库中的表过大（几十G，甚至更大），为避免kettle 出现OOM，笔者画了一个分页、增量的数据迁移流程。不过存在限制：增量更新需要数据库有最近更新时间字段 个人网上也搜了好久，始终没有找到完美的流程。最后笔...
kettle使用_KETTLE 使用教程
weixin_39953102的博客
12-03 2331
KETTLE 使用教程文章标签： KETTLEkettle使用教程Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。Kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称...
kettle将excel导入数据库
09-11
要将Excel导入数据库，可以使用Kettle工具来实现。以下是一种方法： 1. 打开Kettle工具，双击打开Excel输入步骤。 2. 在Excel输入步骤中，点击浏览按钮，找到要导入的Excel文件。 3. 点击“增加”按钮，选择要导入的工作表（一般是Sheet1）。 4. 点击“字段”选项卡，获取来自投入数据的字段。 5. 配置表输出组件，将数据导入数据库。 另外，如果在操作过程中出现错误提示，可能有几个原因。首先，可能是Kettle没有导入jdbc的jar包，需要在安装Oracle文件夹下找到相应的jar包，然后将其复制到Kettle的lib文件目录下。其次，如果使用的是Oracle数据库，需要注意建表字段要大写，否则在“表输出”模块上可能无法获取字段。最后，在进行作业时，要确保在“转换”模块和SQL脚本模块预览文件时，确认文件路径是否正确。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值