所有我们目前学的kettle转换步骤总结

一、输入类

1.文本文件输入

2.表输入

 

3.CSV文件输入

 4.JSON input

 

.json文件输入后,这个控件能够解析.json文件,解析出它的json最外层结构。

5.MongoDB input

MongoDB数据库作为数据输入源

6.Get data from XML

7.一种特殊情况:

(自定义常量数据,作为后续的输入)

8.HTTP client

 

对指定的url发起http请求,并将http响应结果存储到result中。

二、输出类

1.表输出

表输出,:将流中的字段,和表中的字段做个映射,将流中数据写入到表中。

2.插入/更新

更新数据表,可以选择这个控件。

指定查询的关键字,指定更新的字段。

 

 

三、条件类

1.过滤记录

通过添加一些条件,给数据进行分流,满足条件的,进入到发送true的步骤。不满足条件的,进入到发送False的步骤。

 

2.数据检验

能够给流中的字段,添加一些检验条件。满足检验条件才能做后续的操作之类的。

四、合并类

1.排序合并

两个功能:

排序:按照某字段

合并:将两个数据流进行合并(要保证两个数据流中数据类型一致,防止报错)

2. 合并记录

能够根据关键字,合并两个数据流中的数据。

主要是将两个数据源(旧数据源、新数据源)进行合并,标志字段flagfield主要是将每条数据进行标记,新数据源的数据会标记为new,旧数据源的数据会标记为deleted,若新、旧数据源中存在相同的关键字段设置的数据,则两个数据源进行合并后只会保存从新数据源中获取的数据,并以identical进行标记。

3.记录集连接 

 

 指定连接类型,INNER、LEFT OUTER、RIGHT OUTER、FULL OUTER。

类似数据库的连接操作,指定连接字段,连接类型,对两个数据流中的数据进行连接。

 

五、字段操作类

 1.字段选择控件:

能够用来选择我们想要保留的字段,移除我们不想要的字段,同时修改保留字段的元数据。

2.增加序列

新增一列,从某个数字开始,按照step的间隔,可以控制最大值

 3.计算器

 可以生成一些新字段,通过目前流中已有的字段的简单的加减乘除运算。

 

计算类型很多,还有很多日期处理的。

4.替换NULL值

 指定字段,指定该字段为NULL值的,全部替换为相应的值,比如图中的,170.

5. Java代码 

 

 用Java程序,处理上个数据流中的数据

6.JavaScript代码

 

 通过js代码,将数据流中的字段做某些转换,或者生成一些新的字段。

六、字段中值的操作类

1.设置值为NULL

 

将指定的字段,指定的字段为某些值时,修改这些值为NULL

2.值映射

将数据流中的指定字段,指定源值,然后替换为目标值。

七、空操作

1. 空操作

 

 就是为了数据分流后,后面能有一些步骤能够接收到这些数据流。或者不是分流的情况下,也可以用。

八、其他

1.唯一行(哈希值)

 

 指定要计算哈希值的,相关的列。

数据记录,去重专用。

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值