事件时间(event time)与水印(watermark)
引言
在Flink流式引擎消费平台的项目中遇到数据处理顺序错乱的问题，导致项目处于一个不可用状态。本文记录了流式引擎中处理乱序方案中的基础知识点。
正文
一
事件时间（EventTime）和水印（WaterMark）诞生的背景
在实际的流式计算中数据到来的顺序对计算结果的正确性有至关重要的影响
比如：某数据源中的某些数据由于某种原因(如：网络原因，外部存储自身原因)会有2秒的延时，也就是在实际时间的第1秒产生的数据有可能在第3秒中产生的数据之后到来。
假设在一个5秒的滚动窗口中，有一个EventTi
原创
2020-08-25 15:32:30 ·
1590 阅读 ·
0 评论
关注
分享
扫一扫