Spark任务报java.lang.StackOverflowError

2024-05-25 19:08

本文主要是介绍Spark任务报java.lang.StackOverflowError,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Spark任务报java.lang.StackOverflowError

简介

日前遇到一个问题,在提交一个spark任务(提交模式:yarn-client),去读取2000+个字段的hive表时,报出一个错误:java.lang.StackOverflowError,于此分析记录一下问题。

问题分析

此问题的原因在于,通过sparksession去读取hive表时,会在 driver 端去解析语法树,和SQL执行计划,由于字段过多,产生大量引用,占用较多栈空间,而默认情况下,Java栈空间只有1M大小,因此报错了。

几点需要明确的

1.首先明确,解析语法树,是在driver端,报错也是driver报的,与executor没有什么关系,因此,需要修改的配置也是关于driver的。
2.也是由于问题是driver爆出来的,但是driver如果在yarn-cluster模式下,由于driver是被yarn根据一定的资源调度规则随机分配到某个node上,所以这种情况下,有可能就需要改动每个nodemanager的配置了(只是这样猜想,因为我的提交是yarn-client,能够确定driver的位置,所以能够确切知道该改哪里的配置)
3.有可能你会说在spark-submint提交命令里,可以指定参数,我的确这样尝试了,但是没有效果,不知道是环境问题还是配错了。小伙伴们可以尝试一下。

操作步骤

1.连接上提交spark-submit的服务器,输入下面命令,可以看看默认的栈大小,我的是1M

java -XX:+PrintFlagsFinal -version | grep ThreadStackSize

2.找到spark的配置文件,每个人的环境不一样,这里就不贴路径了,编辑之

 vim spark-defaults.conf

3.在最后面加上如下配置,大小可根据实际情况指定,大点无所谓,小了要报错。

spark.driver.extraJavaOptions="-Xss30M"

4.重启spark。
5.再次尝试提交任务,问题应该就能解决。

后续思考

1.上面的问题,是由于引用过多造成栈空间不足而报错。但是据周志明老师的JVM书籍上提到,如果调用层次过深,超过栈深度,也会报错,那么假如用spark执行一条比较复杂的SQL,比如有很多的or,and之类的条件,那么可以猜测,在解析树的时候,大量递归可能会造成栈深度溢出。这只是一种猜测,留待有缘人踩坑。解决方法,目前我只想到两种,第一是有没有办法增加栈深度,第二是简化SQL语句,减少递归。

这篇关于Spark任务报java.lang.StackOverflowError的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1002370

相关文章

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

浅析Java中如何优雅地处理null值

《浅析Java中如何优雅地处理null值》这篇文章主要为大家详细介绍了如何结合Lambda表达式和Optional,让Java更优雅地处理null值,感兴趣的小伙伴可以跟随小编一起学习一下... 目录场景 1:不为 null 则执行场景 2:不为 null 则返回,为 null 则返回特定值或抛出异常场景

SpringMVC获取请求参数的方法

《SpringMVC获取请求参数的方法》:本文主要介绍SpringMVC获取请求参数的方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下... 目录1、通过ServletAPI获取2、通过控制器方法的形参获取请求参数3、@RequestParam4、@

SpringBoot应用中出现的Full GC问题的场景与解决

《SpringBoot应用中出现的FullGC问题的场景与解决》这篇文章主要为大家详细介绍了SpringBoot应用中出现的FullGC问题的场景与解决方法,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录Full GC的原理与触发条件原理触发条件对Spring Boot应用的影响示例代码优化建议结论F

springboot项目中常用的工具类和api详解

《springboot项目中常用的工具类和api详解》在SpringBoot项目中,开发者通常会依赖一些工具类和API来简化开发、提高效率,以下是一些常用的工具类及其典型应用场景,涵盖Spring原生... 目录1. Spring Framework 自带工具类(1) StringUtils(2) Coll

SpringBoot条件注解核心作用与使用场景详解

《SpringBoot条件注解核心作用与使用场景详解》SpringBoot的条件注解为开发者提供了强大的动态配置能力,理解其原理和适用场景是构建灵活、可扩展应用的关键,本文将系统梳理所有常用的条件注... 目录引言一、条件注解的核心机制二、SpringBoot内置条件注解详解1、@ConditionalOn

通过Spring层面进行事务回滚的实现

《通过Spring层面进行事务回滚的实现》本文主要介绍了通过Spring层面进行事务回滚的实现,包括声明式事务和编程式事务,具有一定的参考价值,感兴趣的可以了解一下... 目录声明式事务回滚:1. 基础注解配置2. 指定回滚异常类型3. ​不回滚特殊场景编程式事务回滚:1. ​使用 TransactionT

Spring LDAP目录服务的使用示例

《SpringLDAP目录服务的使用示例》本文主要介绍了SpringLDAP目录服务的使用示例... 目录引言一、Spring LDAP基础二、LdapTemplate详解三、LDAP对象映射四、基本LDAP操作4.1 查询操作4.2 添加操作4.3 修改操作4.4 删除操作五、认证与授权六、高级特性与最佳

Spring Shell 命令行实现交互式Shell应用开发

《SpringShell命令行实现交互式Shell应用开发》本文主要介绍了SpringShell命令行实现交互式Shell应用开发,能够帮助开发者快速构建功能丰富的命令行应用程序,具有一定的参考价... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定义S

SpringQuartz定时任务核心组件JobDetail与Trigger配置

《SpringQuartz定时任务核心组件JobDetail与Trigger配置》Spring框架与Quartz调度器的集成提供了强大而灵活的定时任务解决方案,本文主要介绍了SpringQuartz定... 目录引言一、Spring Quartz基础架构1.1 核心组件概述1.2 Spring集成优势二、J