![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink学习之路
:一会流浪的猫
这个作者很懒,什么都没留下…
展开
-
flink 时间概念和waterMark
flink中的时间概念 理解waterMark,还需要先理解flink的时间概念 时间分为 事件时间eventTime:事件发生的时间,一般就是数据本身携带的时间。 摄入时间IngestionTime:事件进入Flink的时间。 处理时间processTime:事件被处理的时间,也就是由机器的系统时间来决定。 处理时间是最简单的时间概念,不需要流与机器之间的协调。即我机器收到数据后就将其...原创 2019-11-08 16:17:26 · 405 阅读 · 1 评论 -
flink的窗口机制
目录 窗口分配器 时间窗口分为滑动窗口、滚动窗口 会话窗口 全局窗口(Global Windows) window的生命周期 当一个属于window的元素到达之后这个window就创建了,而当当前时间(事件或者处理时间)为window的创建时间跟用户指定的延迟时间相加时,窗口将被彻底清除。Flink 确保了只清除基于时间的window,其他类型的window不清除; 每一个windo...原创 2019-11-08 10:54:07 · 529 阅读 · 0 评论 -
flink window的Trigger和附加窗口函数
window 每一个window都会有一个trigger和一个附加窗口函数 函数里包含了应用于窗口(Window)内容的计算,而Trigger(触发器)则指定了函数在什么条件下可被应用(函数何时被触发),一个触发策略可以是 "当窗口中的元素个数超过4个时" 或者 "当水印达到窗口的边界时"。触发器还可以决定在窗口创建和删除之间的任意时刻清除窗口的内容,本例中的清除仅指清除窗口的内容而不是窗口的...原创 2019-11-08 09:37:46 · 617 阅读 · 0 评论 -
《flink基础教程》读后心得
flink学习的相关概念 Storm实现了低延迟但是吞吐量上是很低的storm不支持excatly-once语义,因此不能保证数据的正确性 Spark streaming通过采用微批次处理方法实现了高吞吐和容错性,但是牺牲了低延迟和实时处理能力,也不能使窗口和自然时间相匹配 若要依靠多个流事件来计算结果,必须将数据从一个事件保留到下一个事件,这些保留下来的数据叫做计算的状态 flin...原创 2019-11-01 17:00:12 · 638 阅读 · 0 评论