案例四 流式处理（kafka）

意图：从kafka消费数据共200条，进过一系列处理、聚合，输出40条到数据库

整个过程分为父转换SRT，子转换SKafkaProcess ，SRT拉取kafka数据，SKafkaProcess 负责处理，大体呈：数据 -> SRT -> SKafkaProcess ->结果。

为毛分两个转换，为毛不是一个转换？因为【Kafka consumer】这个步骤配置界面需要输入另一个转换。我的理解是消费是批量操作，一批调一次子转换，每调一次子转换，子转换中所有步骤都重新初始、实例化。可在【java代码】步骤中设置属性，处理完一批数据后输出该数据，你会发现每完成一批，这些属性会变回初始状态。

 

父转换（SRT）：

【Kafka consumer】解析：从kafka拉取数据，驱动子转换进行处理

其他参数自行了解，比较简单。

 

原始数据（共200条输入kafka）：

 

子转换（SKafkaProcess ）处理流程：

首先子流程必须以开始

将数据拆分成四列

java代码步骤做了一些状态聚合

增加一列，全部默认1

然后输出到数据库

结果