本文主要是介绍spark内存溢出问题，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
9090监控页面显示storage都没用（这里似乎只统计persist持久化的）：
但是jmap -heap pid显示内存不够了：
然后报错：SparkException: Kryo serialization failed: Buffer overflow
解决办法：加大spark.driver.memory、spark.executor.memory、spark.kryoserializer.buffer
或者在 submit时候配置：
--conf "spark.kryoserializer.buffer.max=384"
--driver-memory 5g
--conf spark.executor.memory=6g
--total-executor-cores 12
--conf spark.executor.cores=3
这篇关于spark内存溢出问题的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
