- 博客(167)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 kettle从入门到精通 第117课 ETL之kettle，kettle调用his接口，入参和响应数据均为xml结构
【Kettle解决XML与JSON报文转换问题】针对Kettle调用HIS接口时遇到的XML报文处理问题，本文提供完整解决方案：1）添加staxon、hutool等JAR包至Kettle的lib目录；2）设计转换流程，通过JavaScript调用JAR包方法实现XML/JSON互转，包含格式化处理；3）示例展示了医疗系统用户数据的报文转换过程，涉及请求报文生成、格式转换及结果输出。该方案可有效解决金融、医疗等领域系统集成时的数据格式兼容性问题，为后续REST接口调用奠定基础。
2026-02-12 21:56:45
598
原创 kettle调度系统- XKG集成WebSpoon9.4，kettle脚本在线设计&测试&部署一站式解决方案，持续赋能企业
【技术干货】Java小金刚团队自研XKG调度系统与WebSpoon9.4工具实战分享。XKG作为灵活的kettle调度系统，支持trans和job任务管理；WebSpoon9.4提供在线协作设计功能，团队成员可实时编辑转换流程（含生成记录、Python插件等组件）。系统支持从资源库创建、脚本测试到生产部署的全流程管理，提供本地/远程执行、Cron调度等丰富功能，并配备完善的日志追踪体系。关注【Java小金刚】公众号获取更多互联网金融领域的技术实践。（149字）
2026-01-28 22:36:49
288
原创 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续
【Java小金刚公众号分享】一位热心网友提供了Kettle作业日志捕获的实用方案：1）在Job/Trans中设置日志输出到文件；2）发送邮件时选择"日志"类型附件；3）实测成功收到完整错误日志。该方案解决了全局异常捕获时无法获取详细日志的问题，并附详细操作步骤：配置日志路径、选择日志级别、设置邮件附件类型等。文末提醒需附加删除日志文件动作。欢迎关注【Java小金刚】获取更多技术干货！（135字）
2026-01-13 21:41:18
273
原创 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获
摘要：文章介绍了Kettle(PDI)的统一异常处理机制。通过Webspoon设计子转换t1_error，在subjob中调用该转换并设置错误邮件通知，验证了转换步骤的异常捕获功能。进一步设计父job，发现可以捕获subjob的错误信息，但无法获取子转换的具体错误。实验表明Kettle支持通过转换或作业+邮件实现统一异常捕获，但subjob已处理的异常不会被父job重复捕获。文章最后提出疑问：为何捕获的异常中不包含子转换的具体错误信息。
2026-01-12 22:02:26
408
原创 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行
本文介绍了使用Kettle工具将多行数据合并为单行的技术方案。以互联网金融行业技术团队数据为例，演示了通过自定义常量数据、增加常量字段、多行转一行分组、JavaScript数据处理和日志输出等步骤，实现将三条教师信息记录（姓名、年龄、职称）合并为一条结构化数据的完整流程。文章特别提示了分组操作可能产生的多组结果处理问题，并强调JavaScript步骤的数据处理灵活性。最后作者以"保持热爱，自律坚持"的职业箴言作结，展现了技术人的专业态度。
2026-01-04 21:41:44
166
原创 kettle调度系统- 脚本执行错误信息邮件预警，及时发现&解决问题，捍卫生产环境
摘要：本文介绍如何在XKG-PDI平台配置异常捕获和邮件预警功能。首先需配置126邮箱的SMTP服务和授权密码，然后在XKG-PDI系统管理中设置邮箱参数。通过设计包含错误字段的测试脚本t1_error，上传至平台并配置调度任务。执行任务后，可在系统日志中查看错误信息，同时会收到包含日志文件的预警邮件，实现异常监控功能。整个过程展示了XKG-PDI的异常处理机制和邮件通知功能的使用方法。
2025-12-25 22:01:28
155
原创 kettle从入门到精通 第112课 ETL之kettle 数据库资源库，受不了了，逼我出大招
【摘要】Java资深开发者"Java小金刚"分享Kettle工具在MySQL 8.4.6创建资源库时遇到PARALLEL关键字冲突的解决方案。文章提出三种方法：1）降级使用MySQL 8.0/8.2版本创建；2）手动执行导出的SQL脚本；3）针对MySQL 8.4手动修改创建流程。验证表明修改后能正常保存ktr脚本。该方案同样适用于达梦、金仓等国产数据库环境，为ETL工具与不同数据库的兼容性问题提供了实用解决思路。（149字）
2025-12-23 21:09:20
194
4
原创 kettle调度系统- kettle数据库资源库，团队协作问题轻松拿捏
《Kettle团队协作解决方案：xkg-pdi数据库资源库实战》 本文由Java资深工程师分享Kettle团队协作的解决方案。详细介绍了使用xkg-pdi管理Kettle脚本的完整流程：从创建数据库资源仓库、设计trans脚本，到配置资源库、拉取脚本、作业调度和日志监控。重点演示了如何通过数据库资源仓库实现团队协作，包括脚本共享、任务调度和节点执行监控。文章还预告了后续将介绍基于Git的团队协作方案。适合需要解决Kettle团队协作问题的开发人员参考。
2025-12-15 18:20:08
362
原创 kettle调度系统-1分钟提供接口供外部系统调用，配置简单，快速高效
本文介绍了XKG-PDI系统在数据服务中的应用方法。作者"Java小金刚"分享了从Kettle转换设置到接口调用的完整流程：包括表输入配置、字段筛选、日志记录等转换步骤，以及XKG-PDI平台上的服务部署、应用配置和接口管理。重点演示了如何通过HTTP请求传递参数获取特定数据，并展示了浏览器和Postman两种测试方式。该系统能有效满足外部系统如CRM获取客户信息等数据需求，通过过滤敏感字段确保数据安全。文章为互联网金融行业的数据服务提供了实用解决方案。
2025-12-11 16:11:45
433
原创 kettle调度系统-carte集群服务调度，carte集群+算子级集群双集群，涡轮增压，性能拉满，赋能大中型企业
本文介绍了xkg-pdi调度系统的部署与配置流程，主要包括：1）创建文件资源库并上传脚本；2）维护服务器脚本；3）配置centos服务器和carte服务；4）将资源库脚本同步到carte服务；5）配置carte集群实现高可用；6）设置调度任务并测试；7）监控作业和平台运行状态。系统支持多节点部署、脚本批量下发、多种调度方式，并通过carte组实现集群高可用，可查看详细运行日志和监控数据。
2025-12-02 21:02:55
415
原创 kettle调度系统-carte单体服务调度，支持多kettle版本部署，任务触发毫秒级响应0延迟
执行方式：选择carte服务，这里的carte服务可以是当体carte，也可以是carte集群（step级别的机器，kettle原生的master slave）。脚本下发主要是为了解决，当脚本发生变化之后，可以一键将脚本同步到所有carte服务器上，避免手动拷贝效率低下问题。可以根据自己的需要修改xml文件，或者使用本地的xml整体覆盖，点击保存进行修改。上一步我们点击的是保存并部署，所以这里需要点击下启动按钮，启动carte服务。xkg还有一些其他实用的功能，如接口管里，预警配置等，大家可以自行摸索下。
2025-11-17 10:08:53
1011
原创 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程
《Java小金刚分享WebSpoon部署方案》摘要：拥有10年互金行业经验的Java技术专家分享两种WebSpoon部署方案。1）Docker部署：提供现成镜像文件，解决网络下载问题，特别适合跨平台需求；2）Tomcat免配置版：预打包解决常见问题如汉化失败等，提供完整启动指南。作者指出WebSpoon9.0存在稳定性问题，建议优先使用Docker方式，并分享了MySQL8连接技巧及插件适配经验。文末提供资源获取方式，邀请开发者交流使用中遇到的问题。
2025-11-09 20:33:36
458
原创 kettle调度系统-kettle spoon方式调度，强大兼容性，支持各种版本kettle
Java技术专家分享xxkg-pdi调度系统教程，详细讲解如何使用spoon方式调用kettle的pan和kitchen工具进行作业调度。文章涵盖系统部署、作业创建、监控日志等操作步骤，特别针对SQLite数据库作为kettle资源库的问题进行解答，演示了SQLite数据读取流程。作者表示后续将推出kettle集群调度相关内容，展现技术分享热情。
2025-11-04 20:05:30
910
原创 kettle调度系统-kettle嵌入集成方式调度，稳如磐石，一分钟完成任务调度配置
摘要： "kettle金刚调度系统"重出江湖，提供kettlecore集成、spoon命令行和carte服务三种调度方式。系统部署通过java -jar命令启动，浏览器访问32007端口登录。主要功能包括：1）资源库配置支持上传和编辑job脚本；2）调度配置支持多种执行方式、日志模式和告警设置；3）作业监控可查看历史记录和日志。该系统为kettle用户提供全面的调度解决方案，后续将介绍spoon命令行调度方式。
2025-10-29 14:12:32
622
2
原创 kettle从入门到精通 第109课 ETL之kettle， kettle docker 镜像制作&容器部署
【Java小金刚分享Kettle Docker镜像部署方案】文章详细介绍了基于CentOS7构建Kettle9.4镜像的全过程：1）通过Dockerfile配置JDK8、SSH及Kettle环境；2）包含镜像构建命令和双服务启动示例；3）提供SSH登录排错指南；4）说明Carte服务访问方式。作者表示已完成镜像制作，并将共享至专业群供开发者使用。该方案适合需要快速部署Kettle服务的开发团队参考。（148字）
2025-10-28 21:06:15
773
原创 kettle插件-dm数据库插件,解决kettle9.X版本无法连接数据库资源库问题
摘要：Java小金刚分享使用PDI(Kettle)连接达梦数据库的经验。测试发现Kettle 9.2能正常连接达梦资源库，但9.4版本登录失败。通过使用DmJdbcDriver18.jar驱动和自研达梦插件，成功创建46张资源库表（关键数量）。特别提醒：Kettle 9.3版本存在兼容性问题，可能导致只生成25张表而无法使用。建议使用9.2/9.4/9.5版本，并注意插件配置细节（如资源库描述避免中文
2025-10-12 23:09:39
588
原创 kettle插件-国产数据库瀚高插件，助力国产数据库腾飞
摘要：本文介绍了在信创环境下使用瀚高数据库的实践方法。作者详细演示了通过Docker安装瀚高数据库的全过程，包括镜像加载、容器启动和数据库创建。文章重点讲解了如何将瀚高数据库与Kettle工具集成，包括插件安装、驱动程序配置、转换设计等关键步骤，并展示了将瀚高数据库作为Kettle资源仓库的具体实现方法。该教程为Java开发者在国产数据库环境下的数据集成工作提供了实用指导。
2025-10-09 21:39:44
778
原创 kettle插件-ES6插件
摘要：Java资深开发者"Java小金刚"分享了一款解决Kettle工具中JavaScript插件不支持ES6语法问题的解决方案。文章对比了原生插件仅支持var和const语法的情况，以及自研的三合一插件（支持ES6、Groovy和Python2脚本）的使用方法。该插件只需放入Kettle的plugins目录并重启即可使用，有效解决了开发者需要将ES6代码改写为旧版本的问题。作者邀请读者在评论区提出其他需要的插件需求。
2025-09-29 22:38:53
179
原创 kettle插件-国产数据库金仓插件，助力国产数据库腾飞
本文介绍了在信创环境下使用人大金仓数据库的实践方法。首先通过Docker安装金仓数据库，配置用户和启动模式（支持MySQL/Oracle语法）。然后演示了数据库创建、表操作等基本操作。重点讲解了如何将金仓数据库与Kettle集成：包括插件安装、驱动配置，以及通过Kettle实现数据抽取和日志记录。最后展示了将金仓作为Kettle资源仓库的配置过程，包括仓库创建和脚本初始化。整个过程验证了金仓数据库与Kettle工具的兼容性，为国产数据库在数据处理场景中的应用提供了可行方案。
2025-09-25 13:14:11
569
原创 kettle从入门到精通 第108课 ETL之kettle 国产麒麟系统安装kettle教程
【摘要】Java小金刚在麒麟系统安装kettle时遇到启动报错"aarch64平台不支持"问题。通过分析发现是spoon.sh文件未识别aarch64架构，解决方法是：1）将aarch64.zip解压到指定目录；2）在spoon.sh中添加aarch64平台支持代码。作者是10年互联网金融老兵，专注Java编程、大数据等领域技术分享，欢迎关注公众号【Java小金刚】获取更多技术干货。（99字）
2025-09-20 15:53:09
454
原创 kettle插件-sqlserver cdc插件，从sqlserver获取实时数据so easy，早早下班
本文介绍了在SQL Server中配置CDC(变更数据捕获)功能的完整流程。首先通过Docker安装SQL Server数据库，然后详细演示了如何启用数据库和表级别的CDC功能，包括解决无主键表报错问题。文章还讲解了如何启动CDC捕获作业，并设计了一个包含数据变更监听、JSON解析和数据路由的转换流程。最后通过插入、更新和删除数据的测试案例，验证了CDC功能可以正确捕获并传输数据变更。本文适合需要实现SQL Server数据库变更捕获的开发者参考。
2025-09-09 22:20:55
845
原创 kettle插件-oracle cdc插件,过五关斩六将终于搞定oracle实时数据同步
本文分享了使用Oracle CDC（变更数据捕获）的完整实现过程。作者通过Docker安装Oracle 11g/12c环境，配置归档日志和附加日志，并使用test和kminer两个用户分别进行数据操作和CDC接收。详细介绍了Debezium分布式平台的作用，以及如何在Kettle中安装自研插件和Oracle驱动。通过创建T1表并设计转换流程，展示了插入、更新、删除操作的CDC数据捕获效果，包括各操作对应的JSON数据结构。文章为需要实现Oracle CDC功能的开发者提供了完整的技术参考。
2025-09-03 20:02:37
461
原创 kettle从入门到精通 第106课 ETL之kettle Cache数据库单表6000万+数据轻松提取
《解决6000万+数据从Cache到SQL Server的Kettle内存溢出问题》 摘要：本文记录了帮助医疗行业同仁解决大规模数据迁移问题的过程。针对从Cache数据库向SQL Server迁移6000万+数据时出现的Kettle内存溢出问题，提出了基于自增ID的分批处理方案。通过获取最大ID、计算分页区间、循环查询等步骤重构了数据抽取流程，最终成功实现数据分批迁移。方案采用左闭右开区间控制数据范围，确保数据完整性和处理效率。经连麦指导后，求助者成功应用该方案解决了实际问题。作者还建议可考虑时间区间等其他
2025-08-24 20:52:24
432
原创 kettle从入门到精通 第105课 ETL之kettle 解决api接口无返回页数和记录数的分页问题
本文探讨了解决Kettle分页接口问题的实践过程。作者在处理一个特殊分页接口时遇到挑战，该接口响应参数缺少总页数和总记录数。通过设计包含初始化参数、数据校验、循环获取数据等步骤的流程，成功解决了可能导致死循环和内存溢出的问题。关键点包括：使用hasPage标记控制循环、动态更新请求页码、根据返回数据判断是否继续获取等。经过多次调试后，方案最终成功运行。文章最后邀请读者分享其他可能的解决方案。
2025-08-23 14:58:59
519
原创 kettle插件-kettle python插件，python插件终于搞定了，有此插件可以称霸武林了，雄起
Kettle Python插件开发与使用实践 本文记录了Kettle Python插件的研发过程及使用教程。该插件始于2020年7月文老师的突发需求，研发团队经过一个月的攻坚才完成开发。安装时只需将插件放入plugins目录并重启客户端。使用流程包括：自定义常量数据作为输入→Python脚本处理→输出日志。演示案例使用pypinyin模块将汉字转拼音，需注意正确导入依赖模块。该插件支持Python2/3，通过环境变量切换版本。目前已在生产环境稳定运行，特别适合擅长Python的大数据从业者处理加解密、上传等
2025-08-22 22:01:46
526
原创 kettle插件-kettle http post plus插件失灵了？继续迭代优化轻松调用公卫高安全系数接口
【摘要】朋友调用公卫HTTPS接口时遇到证书上传问题，原以为可用现有插件解决却失败。经排查发现该接口强制要求PKCS#12证书认证。通过分析Postman成功案例后，快速开发专用Kettle插件临时解决，后将功能整合到HttpPostPlus和HttpClientPlus插件中实现长效优化。文章展示了从应急处理到系统化解决的完整过程，并邀请读者分享Kettle使用中的其他技术难题。（149字）
2025-08-13 10:07:13
331
原创 kettle插件-kettle MinIO插件，轻松解决文件上传到MinIO服务器
本文介绍了如何开发Kettle插件实现文件上传至MinIO对象存储的完整流程。首先通过Docker快速搭建MinIO测试环境，创建存储桶。然后将开发的kettle-minio-plugin插件部署到Kettle中，详细说明了转换设计步骤：包括生成记录、配置MinIO连接参数（端点、密钥、存储桶等）、设置文件上传方式（路径或Base64）。通过实际测试验证了插件功能，成功将文件上传至MinIO服务器。该方案为企业数据集成提供了新的存储选择，文末邀请读者提出更多Kettle应用场景需求。
2025-08-09 22:29:36
645
3
原创 kettle插件-kettle http post plus插件，轻松解决https post接口无法调用&文件流下载问题
摘要：本文演示了使用自研插件解决Kettle调用HTTPS POST接口时出现的SSL证书验证问题。通过OpenSSL生成自签名证书，使用Python搭建HTTPS测试接口。在Kettle中安装HttpPostPlus插件后，只需勾选useSSL选项即可成功绕过SSL验证调用接口，同时解决了中文乱码问题。该插件还支持二进制文件下载和重试等功能，完美解决了HTTPS接口调用中的常见问题。（148字）
2025-08-05 11:40:26
1485
原创 kettle插件-kettle http client plus插件，轻松解决https接口无法调用&文件流下载问题
摘要：本文演示了使用自研kettle插件解决HTTPS接口调用问题。首先通过OpenSSL生成自签名证书，搭建Python Flask HTTPS服务；然后将kettle-httpclient-plugin插件放入Kettle目录，设计包含Http客户端Plus步骤的流程。调用HTTPS接口时遇到SSL证书验证错误，通过勾选useSSL选项成功绕过验证。该插件还支持二进制文件下载和重试功能，为Kettle处理HTTPS请求提供了便利解决方案。
2025-07-31 22:34:12
794
原创 kettle插件-kettle数据挖掘ARFF插件
本文介绍了如何在Kettle中使用自研插件arff-output生成ARFF格式文件。ARFF是Weka数据挖掘工具的专用格式，包含头部（定义属性和关系）和数据部分。文章详细演示了插件安装流程：解压至plugins目录后重启客户端，通过"生成记录"步骤模拟数据，再配置ARFF输出步骤中的文件路径、关系名称、字段映射等参数。最终成功生成包含测试数据的test.arff文件，验证了该插件的可用性。
2025-07-24 13:59:49
547
原创 kettle从入门到精通 第104课 ETL之kettle kettle调用python的四种方法
摘要：本文介绍了在Kettle中使用"启动一个进程"步骤调用Python3代码的方法。通过生成记录步骤模拟Python文件、设置进程参数，并配合test.py脚本实现数据交互。重点讲解了参数传递和输出格式设置，最终成功输出执行结果。该方法为Kettle与Python3集成提供了一种可行的解决方案，为后续开发Python插件打下基础。（149字）
2025-07-23 22:32:30
413
原创 kettle从入门到精通 第103课 ETL之kettle kettle读取redis中的Hash数据
Kettle读取Redis Hash数据方法总结：通过生成记录、Java代码、JSON输入和写日志四个步骤实现。关键点在于Java代码步骤中初始化Redis连接、读取Hash数据循环输出（需传递数据到后续步骤）以及销毁连接。注意需根据Redis版本选择匹配的Jedis客户端jar包并放入Kettle的lib目录。该方法成功实现了从Redis的Hash结构中读取键值对数据并解析输出的完整流程。
2025-07-14 10:28:53
692
原创 kettle从入门到精通 第102课 ETL之kettle xxl-job调度kettle的两种方式
摘要：本文介绍了如何使用xxl-job通过HTTP方式直接调用Carte服务执行Kettle任务。首先对xxl-job源码进行修改，使其支持HTTP模式；然后配置执行器，设置Carte服务地址及认证信息；最后创建任务时选择HTTP运行模式，配置CRON表达式和任务参数（包括请求方法、headers和参数）。启动Carte服务后，可通过xxl-job手动触发任务执行。该方法适用于单个或多个Carte服务组成的集群环境。
2025-07-13 21:31:57
789
原创 kettle从入门到精通 第九十七课 ETL之kettle kettle资源仓库的5种方式
本文梳理了Kettle数据集成工具的5种资源仓库管理方式：1）文件仓库（本地存储，速度快适合单人开发）；2）数据库仓库（团队协作但性能较差且官方不推荐）；3）Pentaho仓库（需部署服务器，适合团队）；4）Git+文件仓库（需手动操作Git实现版本管理）；5）Git插件（团队开发的自动化版本管理方案）。每种方式各有优缺点，开发者可根据项目需求（如团队协作、版本管理需求）选择适合的方案，其中文件仓库最简单，Git方案更适合需要版本控制的团队协作场景。
2025-07-13 16:45:29
728
原创 kettle从入门到精通 第101课 ETL之kettle DolphinScheduler调度kettle
本文介绍了DolphinScheduler的安装与基本使用流程：1）下载安装包并启动Standalone模式服务；2）通过默认账号admin/dolphinscheduler123登录UI界面；3）配置租户（需对应操作系统用户）和项目；4）创建工作流示例，演示通过HTTP调用Kettle job的配置过程；5）查看任务运行日志。最后指出在Mac系统使用Shell调度Kettle时可能出现JDK路径错误的问题，建议用户自行探索Quartz Cron表达式配置方式。
2025-07-12 21:42:50
698
2
原创 kettle从入门到精通 第九十九课 ETL之kettle 一键迁移整库(结构+数据)
本文介绍使用Kettle工具实现MySQL数据库整体迁移的方法。通过分步设计实现从测试环境到阿里云的数据库同步：1)读取源库所有用户表；2)循环处理每张表，先导出表结构DDL语句并在目标库执行；3)再同步表数据。关键点包括：使用information_schema过滤系统表、变量传递表名、分步执行DDL和数据插入。该方法可实现整库表结构和数据的完整迁移，测试结果验证了方案的可行性。最后展示了从test库成功同步到target库的效果。
2025-06-03 21:43:01
465
原创 kettle从入门到精通 第九十六课 ETL之kettle Elasticsearch 增删改查彻底掌握
在 Elasticsearch 6.x 及之前的版本中，一个索引里可以有多个文档类型（类似于 MySQL 中一个数据库里有多个表），文档类型可以自定义。群里有小伙伴咨询kettle从Elasticsearch中抽取数据，群里老师们纷纷响应，vip小伙伴是不是有中受宠若惊的感觉。Scroll API 适用于需要处理大量数据的场景，它通过创建一个快照来避免每次请求都进行排序和合并操作。"content": "一个专门用来学习和交流kettle的公众号""name": "小金刚"，用于后续的滚动请求。
2025-05-07 22:24:24
1053
原创 kettle从入门到精通 第九十五课 ETL之kettle kettle拉取企业微信打卡数据，强大且优雅
有小伙伴私聊我咨询使用kettle获取企业微信打卡数据，最近工作比较忙，只能趁着晚上的时候给小伙伴解决问题，不过通过kettle获取企业微信打卡记录还是有一定难度的，通过kettle原生的步骤可以实现kettle获取企业微信打卡记录，但是没有一定的功底，很难实现。4、获取条企业微信用户ID，这里每次是获取100条数据，如下图所示。1）循环获取企业微信所有用户ID，如每次获取100条，然后落库。2）通过用户数据获取每个用户的打卡数据。3）循环获取所有企业微信用户的打卡记录。3）获取用户打卡数据&解析&落库。
2025-04-28 22:05:29
478
原创 kettle插件-postgresql插件
JSON输入：解析日志数据，如{"ts_ms":1743757150325,"db":"testdb","table":"t1","op":"DELETE","before":"{\"id\":1}","pk":"{\"id\":1}"}上午整理公司的交付文档，中午陪孩子户外骑行踏青，下午趁着休息的时间给老铁们讲下如何使用postgressql cdc插件来实时捕获数据。1）本次转换用到了Postgresql CDC、JSON输入、Switch/case、写日志步骤。2）Postgresql CDC配置。
2025-04-04 20:50:36
815
原创 kettle从入门到精通 第九十四课 ETL之kettle MySQL Bulk Loader大批量高性能数据写入
知其然知其所以然，之所以MySQL Bulk Loader速度如此之快是因为MySQL 批量加载器使用“LOAD DATA INFILE 'FIFO 文件' INTO TABLE ....”语句，将数据从 Kettle 内部流式传输到一个命名管道，再将其导入到数据库中。如果该文件不存在，将使用 `mkfifo` 命令创建它，并使用 `chmod 666` 命令设置权限（这就是它在 Windows 系统中无法使用的原因）。若你进行了这样的设置，输入的行将替换现有的行。字段之间的分隔符：字段的分隔符。
2025-04-01 20:53:30
1066
c语言做的简单职工管理系统
2012-01-01
CRRedist2005_x86.7z
2019-06-22
asp.net jquery 弹出层 及数据提交
2011-04-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人