Spark报错处理系列之：Caused by: java.lang.StackOverflowError

最新推荐文章于 2024-10-16 11:11:15 发布
最新推荐文章于 2024-10-16 11:11:15 发布
阅读量851 收藏
点赞数
分类专栏： 大数据 文章标签： spark java ajax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/135030824
版权
大数据 专栏收录该内容
550 篇文章 558 订阅 ¥49.90 ¥99.00
订阅专栏
本文详细介绍了Spark应用中遇到的StackOverflowError错误，分析了错误原因，主要是递归调用过深导致的栈溢出。提出了减少递归深度、优化代码逻辑、增加堆栈大小等解决方法，并提供了四种具体解决方案，包括梳理计算逻辑、增大Driver线程栈、增加Driver内存以及关闭Whole Stage Codegen等。
摘要由CSDN通过智能技术生成

Spark报错处理系列之：Caused by: java.lang.StackOverflowError

一、完整报错

  • INFO ApplicationMaster: Unregistering ApplicationMaster with FAILED (diag message: User class threw exception: org.apache.spark.SparkException: Job aborted.
  • Caused by: java.lang.StackOverflowError
    at org.codehaus.janino.CodeContext.flowAnalysis(CodeContext.java:438)
    at org.codehaus.janino.CodeContext.flowAnalysis(CodeContext.java:600)
    at org.codehaus.janino.CodeContext.flowAnalysis(CodeContext.java:600)
    at org.codehaus.janino.CodeContext.flowAnalysis(CodeContext.java:600)
    at org.codehaus.janino.CodeContext.flowAnalysis(CodeContext.java:600)
    at org.codehaus.janino.CodeContext.flowAnalysis(CodeContext.java:600)
    at org.codehaus.janino.CodeContext.flowAnalysis(CodeContext.java:600)
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Spark之报错java.lang.StackOverflowError（栈溢出） 解决方案
zp17834994071的博客
09-17 2763
前面在运行Spark项目的时候，突然就报了个错：java.lang.StackOverflowError，以前也没出现过这种情况，原来是栈溢出，内存不够导致的。 需要在spark的配置文件中添加新的内存信息。 vi /opt/soft/spark234/conf cp spark-defaults.conf.template spark-defaults.conf vi spark-defaults.conf //添加以下配置信息 spark.driver.extraJavaOptions="-
Spark任务报java.lang.StackOverflowError
疯狂的暴走蜗牛的专栏
03-09 5890
Spark任务报java.lang.StackOverflowError 简介 日前遇到一个问题，在提交一个spark任务（提交模式:yarn-client），去读取2000+个字段的hive表时，报出一个错误：java.lang.StackOverflowError，于此分析记录一下问题。 问题分析 此问题的原因在于，通过sparksession去读取hive表时，会在 driver 端去解析...
解决 Caused by: java.lang.StackOverflowError
qq_33240556的博客
01-11 1595
要解决这个问题，你需要仔细检查你的代码，特别是那些可能导致无限递归或循环的代码部分找到合适的终止条件，或者使用迭代而非递归的方式来实现算法如果问题仍然存在，你可能需要增加JVM的堆内存大小，或者使用一些工具来帮助你调试和优化代码。由于你没有提供具体的代码，我无法给出更具体的建议但如果你能提供更多的代码或背景信息，我将能够提供更具体的帮助。通常是由于递归调用过程过深导致的当递归调用没有合适的终止条件时，程序会一直调用自身，导致堆栈溢出。
启动Spark报错：24/10/16 09:14:18 ERROR spark.SparkContext: Error initializing SparkContext.java.lang.Clas
最新发布
guyuan16的博客
10-16 407
spark启动报错问题解决
Caused by: java.lang.StackOverflowError: null
远道的博客
11-18 2119
参考 由于深度递归，抛出此错误以指示应用程序的堆栈已耗尽。 在方法执行过程中调用自己引起递归。 解决：查看方法中哪些部份反复调用自己。
Spark SQL报错：java.lang.StackOverflowError（栈溢出）原因及 解决方案
qq_45124566的博客
04-18 2041
Spark SQL报错：java.lang.StackOverflowError
spark 报java.lang.StackOverflowError
u014552678的博客
12-14 569
spark 广播类报java.lang.StackOverflowError 背景：需要广播一个167M的tree类，所以报栈内存不够 解决办法：在spark-submit里加上：（目前由于数据量级小，所以采用local模式运行） spark-submit \$ --class bp_beauty_op.beauty_op \$ --master local[*] \$ --driver-java-options "-Xss256m" \$ test-1.0-SNAPSHOT.jar 或者在spark-
spark任务爆出大量的java.lang.StackOverflowError
u011602667的专栏
08-19 2215
spark executor jvm 参数设置
Caused by: java.lang.StackOverflowError
qq_35597100的博客
03-05 2405
Springboot 生成war部署到外置Tomcat（tongweb）时： Caused by: java.lang.StackOverflowError at java.lang.ReflectiveOperationException.<init>(ReflectiveOperationException.java:89) at java.lang.reflect.InvocationTargetException.<init>(InvocationTarge...
Caused by: java.lang.IllegalStateException解决办法
热门推荐
GamePog的博客
12-08 2万+
Caused by: java.lang.IllegalStateException: Detected both log4j-over-slf4j.jar AND bound slf4j-log4j12.jar on the class path错误解决办法
解决：Spark-HBASE Error Caused by: java.lang.IllegalStateException: unread block data
jxj21的博客
05-09 5631
参考：1 http://stackoverflow.com/questions/31701273/setting-spark-classpaths-on-ec2-spark-driver-extraclasspath-and-spark-executor 参考：2 http://stackoverflow.com/questions/34901331/spark-hbase-error-java
【Caused by】java.io.FileNotFoundException: __app__.jar或WARN internal.EntityManagerFactoryRegistry
GHD
11-18 1020
2018.11.18 文章目录前言方法错误的尝试正确的解法 前言 项目背景：有一个基于Spring Boot的调度器，负责调度并向Yarn提交Spark作业。在测试时发现，有个Spark作业一直报__app__.jar找不到的错误。 ERROR yarn.ApplicationMaster: User class threw exception: org.springframework.bea...
Red5启动错误Caused by: java.lang.StackOverflowError
qdqht2009的专栏
04-27 2330
信息: Red5 Server 1.0.6-SNAPSHOT (https://github.com/Red5) 四月 26, 2016 10:13:36 上午 org.slf4j.impl.JDK14LoggerAdapter log 信息: Red5 Server 1.0.6-SNAPSHOT (https://github.com/Red5) 四月 26, 2016 10:13:36
Java由于方法的递归调用导致栈溢出Caused by: java.lang.StackOverflowError: null at org.ldd.test.config.ASocketServer
蓝多多的小仓库
10-20 1384
在 ASocketServer 的构造函数内部又创建了 BSocketServer 对象，而 BSocketServer 的构造函数内部又创建了 ASocketServer 对象，两者之间形成了相互递归的调用。②在需要使用 ASocketServer 对象的地方，声明一个 ASocketServer 类型的变量，并使用 @Autowired 注解进行标记。③在需要使用BSocketServer处同理，同时需要确定自己的项目中启用了组件扫描、配置了适当的 bean 和依赖关系。
达梦数据库 Caused by: java.lang.StackOverflowError: null at com.alibaba.fastjson2.writer.ObjectWriter_11
m0_49521043的博客
12-14 772
方案一：将数据库表中字段 是text 类型的字段改成varchar。方案二：将查出来的数据通过clob进行转换，具体代码如下。
tomcat启动时报错Caused by: java.lang.StackOverflowError at org.apache.logging.log4j.util.StackLocatorUtil
老照片
11-10 3404
tomcat启动时报错 报错信息，从上往下： java.lang.IllegalStateException: Error starting child at org.apache.catalina.core.ContainerBase.addChildInternal(ContainerBase.java:720) at org.apache.catalina.core.ContainerBase.addChild(ContainerBase.java:690) at org.apache.c
报错：Caused by: java.lang.ClassNotFoundException: javax.xml.bind.JAXBException
12-23
根据提供的引用内容，报错"Caused by: java.lang.ClassNotFoundException: javax.xml.bind.JAXBException"是由于缺少javax.xml.bind.JAXBException类所导致的。解决这个问题的方法是添加相关的依赖项。 你可以尝试添加以下依赖项到你的项目中： ```xml <dependency> <groupId>jakarta.xml.bind</groupId> <artifactId>jakarta.xml.bind-api</artifactId> <version>2.3.3</version> </dependency> <dependency> <groupId>org.glassfish.jaxb</groupId> <artifactId>jaxb-runtime</artifactId> <version>2.3.5</version> </dependency> ``` 这些依赖项将提供javax.xml.bind.JAXBException类，以解决ClassNotFoundException错误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值