java.lang.OutOfMemoryError: GC overhead limit exceeded

本文主要是介绍java.lang.OutOfMemoryError: GC overhead limit exceeded，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Bug信息

Executor task launch worker for task XXXXXX ERROR Executor: Exception in task XX.X in stage X.X (TID XXXXXX)
java.lang.OutOfMemoryError: GC overhead limit exceeded

Bug本质原因

Executor内存不足

Executor内存管理

堆内和堆外内存规划

作为一个 JVM 进程，Executor 的内存管理建立在 JVM 的内存管理之上，Spark 对 JVM 的堆内（On-heap）空间进行了更为详细的分配，以充分利用内存。同时，Spark 引入了堆外（Off-heap）内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化了内存的使用。

堆内内存受到JVM统一管理，堆外内存是直接向操作系统进行内存的申请和释放。

这篇关于java.lang.OutOfMemoryError: GC overhead limit exceeded的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---