Spark学习之路 （十）SparkCore的调优之Shuffle调优

本文主要是介绍Spark学习之路 （十）SparkCore的调优之Shuffle调优，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《2021年最新版大数据面试题全面开启更新》

欢迎关注github《大数据成神之路》

目录

一、概述
二、shuffle的定义
三、ShuffleManager发展概述
四、HashShuffleManager的运行原理
4.1　未经优化的HashShuffleManager
4.2　优化后的HashShuffleManager
五、SortShuffleManager运行原理
5.1　普通运行机制
5.2　bypass运行机制
六、shuffle相关参数调优
spark.shuffle.file.buffer
spark.reducer.maxSizeInFlight
spark.shuffle.io.maxRetries
spark.shuffle.io.retryWait
spark.shuffle.memoryFraction（已经弃用）
spark.shuffle.manager（已经弃用）
spark.shuffle.sort.bypassMergeThreshold
spark.shuffle.consolidateFiles

这篇关于Spark学习之路 （十）SparkCore的调优之Shuffle调优的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---