Spark错误异常-sparkMaster GC overhead limit exceeded

本文主要是介绍Spark错误异常-sparkMaster GC overhead limit exceeded，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Spark在以standalone模式运行一段时间户总会出现Spark Master GC overhead limit exceeded异常

16/09/20 05:42:24 ERROR ActorSystemImpl: Uncaught fatal error from thread [sparkMaster-akka.actor.default-dispatcher-6] shutting down ActorSystem [sparkMaster]
java.lang.OutOfMemoryError: GC overhead limit exceeded

Spark master的内存被GC释放不掉，主要是因为随着时间的推移会缓存大量的对象Web UI中需要显示的已完成的Applications对象，默认设置的缓存数据是50，而启动的spark master进程内存默认设置的大小1G   -Xms1g -Xmx1g

spark.history.retainedApplications

这篇关于Spark错误异常-sparkMaster GC overhead limit exceeded的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---