Spark任务报java.lang.StackOverflowError

本文主要是介绍Spark任务报java.lang.StackOverflowError，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Spark任务报java.lang.StackOverflowError

简介

日前遇到一个问题，在提交一个spark任务（提交模式:yarn-client），去读取2000+个字段的hive表时，报出一个错误：java.lang.StackOverflowError，于此分析记录一下问题。

问题分析

此问题的原因在于，通过sparksession去读取hive表时，会在 driver 端去解析语法树，和SQL执行计划，由于字段过多，产生大量引用，占用较多栈空间，而默认情况下，Java栈空间只有1M大小，因此报错了。

几点需要明确的

1.首先明确，解析语法树，是在driver端，报错也是driver报的，与executor没有什么关系，因此，需要修改的配置也是关于driver的。
2.也是由于问题是driver爆出来的，但是driver如果在yarn-cluster模式下，由于driver是被yarn根据一定的资源调度规则随机分配到某个node上，所以这种情况下，有可能就需要改动每个nodemanager的配置了（只是这样猜想，因为我的提交是yarn-client，能够确定driver的位置，所以能够确切知道该改哪里的配置）
3.有可能你会说在spark-submint提交命令里，可以指定参数，我的确这样尝试了，但是没有效果，不知道是环境问题还是配错了。小伙伴们可以尝试一下。

操作步骤

1.连接上提交spark-submit的服务器，输入下面命令，可以看看默认的栈大小，我的是1M

java -XX:+PrintFlagsFinal -version | grep ThreadStackSize

2.找到spark的配置文件，每个人的环境不一样，这里就不贴路径了，编辑之

 vim spark-defaults.conf

3.在最后面加上如下配置，大小可根据实际情况指定，大点无所谓，小了要报错。

spark.driver.extraJavaOptions="-Xss30M"

4.重启spark。
5.再次尝试提交任务，问题应该就能解决。

后续思考

1.上面的问题，是由于引用过多造成栈空间不足而报错。但是据周志明老师的JVM书籍上提到，如果调用层次过深，超过栈深度，也会报错，那么假如用spark执行一条比较复杂的SQL，比如有很多的or,and之类的条件，那么可以猜测，在解析树的时候，大量递归可能会造成栈深度溢出。这只是一种猜测，留待有缘人踩坑。解决方法，目前我只想到两种，第一是有没有办法增加栈深度，第二是简化SQL语句，减少递归。

这篇关于Spark任务报java.lang.StackOverflowError的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---