本文主要是介绍Spark学习之路 （十二）SparkCore的调优之资源调优，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
《2021年最新版大数据面试题全面开启更新》
欢迎关注github《大数据成神之路》
目录
一、概述
二、Spark作业基本运行原理
三、资源参数调优
3.1 num-executors
3.2 executor-memory
3.3 executor-cores
3.4 driver-memory
3.5 spark.default.parallelism
3.6 spark.storage.memoryFraction
3.7 spark.shuffle.memoryFraction
一、概述
在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种
这篇关于Spark学习之路 （十二）SparkCore的调优之资源调优的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
