本文主要是介绍Flink 事件、水印、计算的关系,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
看了好久的对水印的介绍,总结出以下的关系。
水印:
- 用于衡量事件时间进度的机制
- 为了解决乱序事件输出正确的结果。
事件、水印、计算的关系
- 事件生成水印的策略
(1)递增式的水印生成,适合递增的数据,如果有不递增的数据,那么会被认为坏数据处理
(2)周期计算,每次生成通过-周期大小,比如设置的周期是10s,那么2020-01-20 11:20:20 对应的水印是 2020-01-20 11:20:10
(3)标记计算,根据事件上面是否有标记来判断是否需要生成水印。 - 水印触发窗口计算的条件
(1)水印大于窗口的结束事件
(2)当前窗口里面有值
参考资料:
https://weread.qq.com/web/reader/56332f30718247bd563ee2f
https://weread.qq.com/web/reader/b19329f071845564b199467k3c5327902153c59dc0488e1
https://blog.csdn.net/lmalds/article/details/52704170
https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/dev/event_time.html
这篇关于Flink 事件、水印、计算的关系的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!