【Flink实战系列】Flink 双流 Join 出现数据倾斜如何解决？

本文主要是介绍【Flink实战系列】Flink 双流 Join 出现数据倾斜如何解决？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

【Flink实战系列】Flink 双流 Join 出现数据倾斜如何解决？

在 Flink 里面常见的数据倾斜有两种

1. 计算场景
2. Join 场景

第一种计算场景，比如我们常说的 WordCount 计算，这种问题可以参考这篇文章，Flink发生数据倾斜怎么优化任务?(两段聚合的方式)

第二种 Join 场景，是我们今天的重点，在实际的开发中，我们可能需要关联两个流做数据补全，比如维表关联，主流的数据量很大，维表数据量很小，根据主键关联的时候，需要根据主键做 keyby 操作，因为主流中主键分布极其不均匀导致严重数据倾斜，从而导致任务的 cp 失败。

<

这篇关于【Flink实战系列】Flink 双流 Join 出现数据倾斜如何解决？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---