【Flink 实战系列】No Watermark (Watermarks are only available if EventTime is used)

2023-11-29 11:10

文章标签 实战系列 flink available used watermark watermarks eventtime

本文主要是介绍【Flink 实战系列】No Watermark (Watermarks are only available if EventTime is used)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

No Watermark (Watermarks are only available if EventTime is used)

问题背景

在 Flink 消费 kafka 的数据，经过一个 map 算子，然后调用 assignTimestampsAndWatermarks 生成 Watermark 后，然后 keyby + window，设置了 ContinuousEventTimeTrigger 5 秒钟触发一次窗口的计算，但是发现窗口一直没有触发计算，大家记住一点，只要是在 EventTime 语义下，窗口不触发的，基本上都是因为 Watermark 的问题。最后查看 Flink UI 对应算子的 Watermark 信息显示为 No Watermark (Watermarks are only available if EventTime is used) 如下图所示：

screencapture-localhost-60497-2022-10-02-15_49_13

问题分析

先来看下这句话的意思是说没有 Watermark ，Watermark 只有在使用 EventTime 的时候才可用，我这里使用的就是 EventTime 时间语义啊，并且还通过 assignTimestampsAndWatermarks 生成了 Watermark，那这里为什么没有呢？首先我们应该知道 Watermark 在传递的时候有一个规则，那就是

这篇关于【Flink 实战系列】No Watermark (Watermarks are only available if EventTime is used)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

http://www.chinasem.cn/article/432595。 23002807@qq.com

相关文章

网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库

阅读更多...

Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列《保护 Web 应用的安全》《Spring-Security-入门（一）：登录与退出》《Spring-Security-入门（二）：基于数据库验证》《Spring-Security-入门（三）：密码加密》《Spring-Security-入门（四）：自定义-Filter》《Spring-Security-入门（五）：在 Sprin

阅读更多...

性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结一、前言在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备打开IDEA找到登录请求资源路径位置

阅读更多...

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇；接下来实现实时显示当前选中红球数量，蓝球数量；以下为练习笔记。 01 效果演示当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称分别设置Label标签名称为：lblRedCount、lblBlueCount

阅读更多...

科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

介绍 R语言的扩展物种堆积图是一种数据可视化工具，它不仅展示了物种的堆积结果，还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异，为研究者提供了一种有效的数据解读方式。加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

阅读更多...

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。正如翻译机将一种语言

阅读更多...

滚雪球学Java(87)：Java事务处理：JDBC的ACID属性与实战技巧！真有两下子！

滚雪球学Java(87)：Java事务处理：JDBC的ACID属性与实战技巧！真有两下子！

咦咦咦，各位小可爱，我是你们的好伙伴——bug菌，今天又来给大家普及Java SE啦，别躲起来啊，听我讲干货还不快点赞，赞多了我就有动力讲得更嗨啦！所以呀，养成先点赞后阅读的好习惯，别被干货淹没了哦~ 🏆本文收录于「滚雪球学Java」专栏，专业攻坚指数级提升，助你一臂之力，带你早日登顶🚀，欢迎大家关注&&收藏！持续更新中，up！up！up！！环境说明：Windows 10

阅读更多...

flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0

阅读更多...

GPT系列之：GPT-1，GPT-2，GPT-3详细解读

GPT系列之：GPT-1，GPT-2，GPT-3详细解读

一、GPT1 论文：Improving Language Understanding by Generative Pre-Training 链接：https://cdn.openai.com/research-covers/languageunsupervised/language_understanding_paper.pdf 启发点：生成loss和微调loss同时作用，让下游任务来适应预训

阅读更多...

springboot实战学习（1）(开发模式与环境)

springboot实战学习（1）(开发模式与环境)

目录一、实战学习的引言（1）前后端的大致学习模块（2）后端（3）前端二、开发模式一、实战学习的引言（1）前后端的大致学习模块（2）后端 Validation：做参数校验Mybatis：做数据库的操作Redis：做缓存Junit：单元测试项目部署：springboot项目部署相关的知识（3）前端 Vite：Vue项目的脚手架Router：路由Pina：状态管理Eleme

阅读更多...