本文主要是介绍spark 少量key倾斜的join优化，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
背景
在使用spark join时，我们经常遇到少量key拥有大量的数据而导致的数据倾斜的问题，这导致了task任务数据处理非常不均匀而影响最终时效
少量key数据倾斜的join优化
这里有一个前提，join的另一边的表没有数据倾斜问题，也就是rdd2没有数据倾斜，然后处理的主要思路还是把这些倾斜的key单独抽取出来形成一个单独的rdd1_0，join的另一边也是把这些倾斜的key单独的抽取出来形成一个单独的rdd2_0，对于剩下的非倾斜的rdd1_1和rdd2_1，直接join即可，然后我们再来看怎么处理倾斜的rdd1_0，我们这里可以对rdd1_0加上一个随机数(0~n),然后对另一边的rdd2_0扩容n倍，由于rdd2_0只包含倾斜的key的数据，所以扩容n倍的内存消耗可以接受。
详细流程图如下所示：
参考文献： https://zhuanlan.zhihu.com/p/22024169
这篇关于spark 少量key倾斜的join优化的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
