1、kettle概念:
kettle (数据抽取、清洗、转换、装载)是由java 编写,可以在 Window、Linux、Unix 上运行。支持多数据源, 多种中间件的专业ETL 工具。
2、kettle 的 优缺点:
优点: 可视化界面支持图形化GUI设计界面,组件多样性,支持http请求,上手简单支持拖拽,支持sql , 可以编写 js ,可以编写一些 java 代码,然后以工作流的形式流转。如果没有冲突可以并行执行,并行开发。在工具内可以查看 读 写 修改 输出 更新 拒绝 错误 等 一些参数,快速定位和纠错。
缺点: 面对特别复杂的业务逻辑,受制于 组件的使用情况。性能提升需要不断优化,线上部署多样式,但是没有完美的部署方案,暂定 Jenkins ,线上执行 打印日志 只能报 对错,不太详细。
3、组件分类:
输入 输出 转换 应用 流程 脚本 查询 连接 数据仓库 检验 统计 BigData 加密 作业 映射 批量加载 。
- 一些组件使用的截图: