本文主要是介绍Flink如何基于事件时间消费分区数比算子并行度大的kafka主题，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
背景
使用flink消费kafka的主题的情况我们经常遇到，通常我们都是不需要感知数据源算子的并行度和kafka主题的并行度之间的关系的，但是其实在kafka的主题分区数大于数据源算子的并行度时，是有一些注意事项的，本文就来讲解下这些注意事项
flink数据源算子并行度大于kafka主题分区数
我们这里的注意事项对于即使做到配置flink数据源算子的并行度和kafka主题一样，但是有一些kafka主题没有消息发送过来的情况是一样的，这里的问题可以归结于以下两点：
1.有些kafka主题在某个时间点之后没有消息发送过来了
2.由于算子并行度大于kafka主题的分区数，有些数据源算子任务根本不会发送水位线到下一个算子任务
解决以上两个问题的方法是：
WatermarkStrategy.<Tuple2<Long, String>>forBoundedOutOfOrderness(Duration.ofSeconds(20)).withIdleness(Duration.ofMinutes(1));
通过设置算子任务的水位线策略允许空闲的方式来做到，不过从源头上来说，为了尽可能均匀的处理数据，我们尽量设置数据源算子的并行度等于kafka的主题数
这篇关于Flink如何基于事件时间消费分区数比算子并行度大的kafka主题的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
