本文主要是介绍Spark---JVM调优之调节executor离堆内存与连接等待时长，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1、executor堆外内存有时候，如果你的spark作业处理的数据量特别特别大，几亿数据量；然后spark作业一运行，时不时的报错，shuffle file cannot find，executor、task lost，out of memory（内存溢出）；
可能是说executor的堆外内存不太够用，导致executor在运行的过程中，可能会内存溢出；然后可能导致后续的stage的task在运行的时候，可能要从一些executor中去拉取shuffle map output文件，但是executor可能已经挂掉了，关联的block manager也没有了；所以可能会报shuffle output file not found；resubmitting task；executor lost；spark作业彻底崩溃。
上述情况下，就可以去考虑调节一下executor的堆外内存。也许就可以避免报错；此外，有时，堆外内存调节的比较大的时候，对于性能来说，也会带来一定的提升。
2、executor的堆外内存不太够用，导致Spark作业停止原理图
这篇关于Spark---JVM调优之调节executor离堆内存与连接等待时长的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
