kettle案例14-过滤记录

最新推荐文章于 2024-05-27 14:22:08 发布
最新推荐文章于 2024-05-27 14:22:08 发布
阅读量5.2k 收藏 8
点赞数 3
分类专栏： 数据仓库和ETL 文章标签： etl kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhang_xiaomeng/article/details/121077783
版权

参考《ETL数据整合与处理》--任务3.4

任务描述：在数据处理时，往往需要对数据所属类别、区域和时间等进行限制，将限制范围外的数据过滤掉。为了统计2班的考试人数和成绩，需要对“2019年10月年级月考数学成绩.xls”文件，使用【过滤记录】组件，过滤掉不是2班的数据。

 

 在【过滤记录】转换工程中，单击【过滤记录】组件，再单击工作区上方的

图标，预览过滤记录后的数据： 

 

 

 

kettle案例5.3.1--异常值处理---删除包含异常值的记录
m0_68381568的博客
11-25 771
异常值处理---删除包含异常值的记录
kettle案例12-去除重复记录
m0_53816914的博客
10-30 783
由于输入或其他错误，数据文件中可能出现两条或多条数据完全相同的记录，这些相同的记录称为重复记录。重复记录属于“脏数据”，会造成数据统计和分析不正确，必须清洗掉重复记录。 由于在“期考成绩.xls”文件中，发现存在序号不同，但是学号、各科考试成绩完全相同的记录，所以需要使用【去除重复记录】控件，去除这些重复的数据。 ...
kettle实例-异常值处理-删除包含异常值的记录
fxxhmn的博客
10-11 1684
在“条件”处设置过滤的条件，由于文件temperature.txt中time为6：30的温度是137摄氏度，不在非异常值的范围内，因此属于异常值，我们应该将过滤字段设置为temperature、过滤值为137。在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将非异常值放在“空操作（什么也不做）”控件中。先单击【浏览】按钮，选择要去除异常值的文件temperature.txt，然后单击【增加】按钮，将要去除异常值的文件temperature.txt添加到“文本文件输入”控件中。
kettle 数据过滤,验证
10-30
个人总结的kettle的脚本，包含身份证15位转18位，以及各种数据正则验证
Kettle8.2流程组件之过滤记录
若兰幽竹
04-18 6583
Kettle8.2流程组件之过滤记录一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看 一、相关说明 过滤记录组件说明： 过滤记录让数据流从一路到两路。 需求说明： 从数据库中的sys_user表读取数据，过滤部门号为100的数据，将其保存在一个文件中，其他将数据保存到不同文件中。 测试数据源和如下博文中的数据源是一样的： Kettle8.2查询组件之数据库查询 二、设计转换 输入：表输入 流程： 过滤记录 输出：Excel输出、Microsoft Excel输出 三、
Kettle过滤记录
热门推荐
01-27 1万+
转自：http://blog.csdn.net/mafan121/article/details/42920411
kettle 之 过滤记录
stone_tomcate的博客
12-31 3790
选择要过滤的字段 指定true false 步骤输出即可
笔记-kettle 过滤记录组件
u012969217的博客
03-12 4326
kettle 过滤记录组件 kettle8.0 过滤记录组件分支都执行的解决方案：在当前转换里加入执行作业组件，将分支单独作为一个作业，然后在执行作业选择转换即可。 ...
kettle案例8--综合案例—构建DVD租赁商店数据仓库
m0_68381568的博客
11-25 1202
综合案例—构建DVD租赁商店数据仓库
kettle案例5.3.2--异常值处理---修补异常值
m0_68381568的博客
11-25 624
异常值处理---修补异常值
Kettle通过Java脚本清洗数据的demo
03-29
这个是Kettle一个转换的脚本，可以通过这个demo结合java代码来进行数据清洗。
kettle案例5.2.1--缺失值处理---去除缺失值
m0_68381568的博客
11-24 895
缺失值处理---去除缺失值
SpringBoot集成Kettle添加过滤记录
L990616_ss的博客
11-30 3485
过滤记录可用于做增量添加，假设id是自增的，从源表中获取数据插入目标表，如果数据量过大，全表更新导致速度十分慢。这时候可以从源表查询数据，过滤掉id小于目标表最大id的数据，这样可以实现基于id的增量添加。 数据量过大可能导致最开始查询时速度过慢，业务中是把Kettle做成了WEB项目，通过前端来输入查询语句，一般会输入SELECT * FROM tableName，有可能加上WHERE来筛选一下。最好是在原语句中加入比较id大小的条件从而减少查询数据。 但是： ...
kettle从入门到精通 第十课 kettle switch/case、过滤记录、数值范围
zhangjin1222的博客
01-27 1956
下图便用到switch/case、过滤记录、数值范围控件。4、数据范围，根据范围进行统计分组，如下是根据grade 统计优秀、良好、不及格的学生，根据输出字段range 可以进行路由步骤。3）条件：可以设置为比较两个字段，如field1=field2，也可以设置比较一个字段和一个常量，如major=计算机。2）发送false数据给步骤：下面条件表达式结果为false时流向的步骤。1）发送true数据给步骤：下面条件表达式结果为true时流向的步骤。2）switch字段：需要判断的字段，从前置步骤中选择。
kettle从入门到精通 第十二课 kettle java代码过滤记录、利用Janino计算Java表达式
zhangjin1222的博客
01-27 763
3、利用Janino计算Java表达式，主要作用是根据以后字段进行计算，然后返回新增字段或者覆盖原有字段。1、下图通过简单的示例讲解了根据java代码过滤记录和利用Janino计算Java表达式两个组件。3）接收不匹配的行的步骤(可选)：下面条件（java表达式）执行结果为false时流转的步骤。2）接收匹配的行的步骤(可选)：下面条件（java表达式）执行结果为true时流转的步骤。4）条件（java表达式）：java表达式。2、根据java代码过滤记录。1）步骤名称：自定义。
【ETL实战】Kettle学习实践之基本数据转换和过滤
wenchun001的博客
05-24 1223
Kettle学习实践之基本数据转换和过滤
去重复记录和排序——kettle开发09
java程序员的蜕变之路
05-27 870
EXCEL输入：如图所示我们EXCEL表里面一共有7条记录，这里面需要注意的是，我们在去除重复记录的时候，是不是大小写敏感，如果我们大小写敏感的话，那我们如图所示，我们是没有重复记录的，因此我们在去除重复记录的时候要根据需求来选择是否大小写敏感来过滤我们的数据，从而达到我们去除重复的目的。去除重复记录，就是将数据流中的数据进行字段比较，从而去掉重复值的过程。去除重复记录的前提是需要将数据流中的数据进行排序，然后再进行去重操作。去除重复记录的逻辑是，如下图，我们将需要比较的字段作为比较值来比较是否重复。
[Kettle] 记录处理
Hudas的博客
11-14 1900
本文主要介绍了排序记录、去除重复记录、替换NULL值、过滤记录、值映射、字符串替换、字符串操作和分组这8种常用的记录处理组件
Kettle实例-缺失值处理-去除缺失值
fxxhmn的博客
10-11 3825
在“条件”处设置过滤的条件，过滤掉有缺失值的数据字段（这里是过滤Name、Pay和Area字段中的缺失值）；1.通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。7.选择和修改”选项卡的“字段”处手动添加文本文件输入控件输出的所有数据字段，也可以单击【获取选择的字段】按钮，Kettle工具自动检索并添加文本文件输入控件输出的所有数据字段。
kettle案例
最新发布
05-17
### Kettle 使用案例与示例教程 Kettle 是一款功能强大的 ETL 工具，广泛应用于数据提取、转换和加载的任务中。以下是关于如何使用 Kettle 的一些具体案例和示例： #### 1. 数据迁移：从 CSV 文件迁移到 Excel 文件 此场景展示了如何将存储在 CSV 文件中的数据迁移到 Excel 文件中。操作步骤如下： - 新建一个 **Transformation** 脚本文件。 - 添加 **CSV 输入组件** 和 **Excel 输出组件** 并通过 Shift 键拖动鼠标连接这两个组件[^2]。 - 配置 **CSV 输入组件**，选择目标 CSV 文件路径并点击「获取字段」按钮以读取列名[^2]。 - 测试数据流是否正常工作，可以通过点击「预览」按钮查看数据内容。 - 接下来配置 **Excel 输出组件**，设置保存的目标 Excel 文件位置以及表格结构。 #### 2. 数据清洗：去除重复记录 假设有一个包含大量冗余信息的数据库表，需要删除其中所有的重复项，则可以按照以下方式构建 Transformation： - 创建一个新的 Transformation。 - 插入 **Table Input** 组件用于定义 SQL 查询语句来选取原始数据集合[^1]。 - 加入 **Unique Rows (HashSet)** 步骤用来过滤掉任何重复条目[^1]。 - 将清理后的结果写回到另一个新创建或者更新现有表当中去。 #### 3. 复杂业务逻辑处理：基于条件分支的数据分流 当面对复杂的商业需求时，比如根据不同客户群体发送个性化邮件列表，那么就可以利用 Job 来实现这样的流程控制： - 设计多个 Transformations 各自负责一部分特定类型的客户群组加工任务。 - 在主 Job 中串联这些子 Tasks ，并通过判断变量值决定执行哪一条路径上的 transformation[^1]。 ```python # 示例 Python 伪代码展示如何动态调整参数传递给不同的 transformations. for group in customer_groups: kettle_command = f"kitchen.sh /path/to/trans_{group}.ktr" os.system(kettle_command) ``` 以上仅列举了几种常见的应用场景，实际上随着实际项目复杂度增加还可以探索更多高级特性如性能优化技巧等等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值