首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
keyby专题
pyflink1.18.0 keyby之后使用自定义keyedProcessfunction报错
现象概述 使用可自定义的keyedProcessFunction,本地运行没问题,数据输入输出没问题. 但是上线后出现问题,最终无疾而终,怀疑线上环境导致的. 环境 flink1.18.0(代码 线上 环境版本统一的) python3.9 报错关键词 - Failed to deserialize consumer record due to - Failed to start re
阅读更多...
Flink中KeyBy、分区、分组的正确理解
1.Flink中的KeyBy 在Flink中,KeyBy作为我们常用的一个聚合类型算子,它可以按照相同的Key对数据进行重新分区,分区之后分配到对应的子任务当中去。 源码解析 keyBy 得到的结果将不再是 DataStream,而是会将 DataStream 转换为 KeyedStream(键控流),KeyedStream 可以认为是“分区流”或者“键控流”,它是对 DataStream 按照
阅读更多...
Flink中KeyBy、分区、分组的正确理解
1.Flink中的KeyBy 在Flink中,KeyBy作为我们常用的一个聚合类型算子,它可以按照相同的Key对数据进行重新分区,分区之后分配到对应的子任务当中去。 源码解析 keyBy 得到的结果将不再是 DataStream,而是会将 DataStream 转换为 KeyedStream(键控流),KeyedStream 可以认为是“分区流”或者“键控流”,它是对 DataStream 按照
阅读更多...