意图:从kafka消费数据共200条,进过一系列处理、聚合,输出40条到数据库
整个过程分为父转换SRT,子转换SKafkaProcess ,SRT拉取kafka数据,SKafkaProcess 负责处理,大体呈:数据 -> SRT -> SKafkaProcess ->结果。
为毛分两个转换,为毛不是一个转换?因为【Kafka consumer】这个步骤配置界面需要输入另一个转换。我的理解是消费是批量操作,一批调一次子转换,每调一次子转换,子转换中所有步骤都重新初始、实例化。可在【java代码】步骤中设置属性,处理完一批数据后输出该数据,你会发现每完成一批,这些属性会变回初始状态。
父转换(SRT):
【Kafka consumer】解析:从kafka拉取数据,驱动子转换进行处理
其他参数自行了解,比较简单。
原始数据(共200条输入kafka):
子转换(SKafkaProcess )处理流程:
首先子流程必须以开始
将数据拆分成四列
java代码步骤做了一些状态聚合
增加一列,全部默认1
然后输出到数据库
结果