Spark context stopped while waiting for backend

最新推荐文章于 2023-01-27 21:58:52 发布
最新推荐文章于 2023-01-27 21:58:52 发布
阅读量3.9k 收藏 1
点赞数 3
分类专栏： 大数据 文章标签： 大数据 spark yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzw_17600691357/article/details/90487666
版权

spark提交任务到yarn上执行时，出现以下问题：

ERROR TransportClient:233 - Failed to send RPC 7036352720568735489 to /172.16.96.152:34091: java.nio.channels.ClosedChannelException
java.nio.channels.ClosedChannelException
	at io.netty.channel.AbstractChannel$AbstractUnsafe.write(...)(Unknown Source)
2019-05-23 23:56:02 ERROR YarnSchedulerBackend$YarnSchedulerEndpoint:91 - Sending RequestExecutors(0,0,Map(),Set()) to AM was unsuccessful
java.io.IOException: Failed to send RPC 7036352720568735489 to /172.16.96.152:34091: java.nio.channels.ClosedChannelException
	at org.apache.spark.network.client.TransportClient.lambda$sendRpc$2(TransportClient.java:237)
	at io.netty.util.concurrent.DefaultPromise.notifyListener0(DefaultPromise.java:507)
	at io.netty.util.concurrent.DefaultPromise.notifyListenersNow(DefaultPromise.java:481)
	at io.netty.util.concurrent.DefaultPromise.access$000(DefaultPromise.java:34)
	at io.netty.util.concurrent.DefaultPromise$1.run(DefaultPromise.java:431)
	at io.netty.util.concurrent.AbstractEventExecutor.safeExecute(AbstractEventExecutor.java:163)
	at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:403)
	at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:463)
	at io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:858)
	at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:138)
	at java.lang.Thread.run(Thread.java:748)
Caused by: java.nio.channels.ClosedChannelException
	at io.netty.channel.AbstractChannel$AbstractUnsafe.write(...)(Unknown Source)
2019-05-23 23:56:03 ERROR SparkContext:91 - Error initializing SparkContext.
java.lang.IllegalStateException: Spark context stopped while waiting for backend
	at org.apache.spark.scheduler.TaskSchedulerImpl.waitBackendReady(TaskSchedulerImpl.scala:669)
	at org.apache.spark.scheduler.TaskSchedulerImpl.postStartHook(TaskSchedulerImpl.scala:177)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:559)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2493)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:933)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:924)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:924)
	at org.apache.spark.examples.SparkPi$.main(SparkPi.scala:31)
	at org.apache.spark.examples.SparkPi.main(SparkPi.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
	at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:894)
	at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198)
	at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
2019-05-23 23:56:03 INFO  SparkContext:54 - SparkContext already stopped.
Exception in thread "main" java.lang.IllegalStateException: Spark context stopped while waiting for backend
	at org.apache.spark.scheduler.TaskSchedulerImpl.waitBackendReady(TaskSchedulerImpl.scala:669)
	at org.apache.spark.scheduler.TaskSchedulerImpl.postStartHook(TaskSchedulerImpl.scala:177)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:559)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2493)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:933)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:924)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:924)
	at org.apache.spark.examples.SparkPi$.main(SparkPi.scala:31)
	at org.apache.spark.examples.SparkPi.main(SparkPi.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
	at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:894)
	at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198)
	at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
2019-05-23 23:56:03 INFO  SchedulerExtensionServices:54 - Stopping SchedulerExtensionServices
(serviceOption=None,
 services=List(),
 started=false)
2019-05-23 23:56:03 ERROR Utils:91 - Uncaught exception in thread Yarn application state monitor
org.apache.spark.SparkException: Exception thrown in awaitResult: 
	at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:205)
	at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:75)
	at org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend.requestTotalExecutors(CoarseGrainedSchedulerBackend.scala:567)
	at org.apache.spark.scheduler.cluster.YarnSchedulerBackend.stop(YarnSchedulerBackend.scala:95)
	at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.stop(YarnClientSchedulerBackend.scala:155)
	at org.apache.spark.scheduler.TaskSchedulerImpl.stop(TaskSchedulerImpl.scala:508)
	at org.apache.spark.scheduler.DAGScheduler.stop(DAGScheduler.scala:1755)
	at org.apache.spark.SparkContext$$anonfun$stop$8.apply$mcV$sp(SparkContext.scala:1931)
	at org.apache.spark.util.Utils$.tryLogNonFatalError(Utils.scala:1360)
	at org.apache.spark.SparkContext.stop(SparkContext.scala:1930)
	at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend$MonitorThread.run(YarnClientSchedulerBackend.scala:112)
Caused by: java.io.IOException: Failed to send RPC 7036352720568735489 to /172.16.96.152:34091: java.nio.channels.ClosedChannelException
	at org.apache.spark.network.client.TransportClient.lambda$sendRpc$2(TransportClient.java:237)
	at io.netty.util.concurrent.DefaultPromise.notifyListener0(DefaultPromise.java:507)
	at io.netty.util.concurrent.DefaultPromise.notifyListenersNow(DefaultPromise.java:481)
	at io.netty.util.concurrent.DefaultPromise.access$000(DefaultPromise.java:34)
	at io.netty.util.concurrent.DefaultPromise$1.run(DefaultPromise.java:431)
	at io.netty.util.concurrent.AbstractEventExecutor.safeExecute(AbstractEventExecutor.java:163)
	at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:403)
	at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:463)
	at io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:858)
	at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:138)
	at java.lang.Thread.run(Thread.java:748)
Caused by: java.nio.channels.ClosedChannelException
	at io.netty.channel.AbstractChannel$AbstractUnsafe.write(...)(Unknown Source)
2019-05-23 23:56:03 INFO  DiskBlockManager:54 - Shutdown hook called
2019-05-23 23:56:03 INFO  MapOutputTrackerMasterEndpoint:54 - MapOutputTrackerMasterEndpoint stopped!
2019-05-23 23:56:03 INFO  ShutdownHookManager:54 - Shutdown hook called
2019-05-23 23:56:03 INFO  MemoryStore:54 - MemoryStore cleared
2019-05-23 23:56:03 INFO  ShutdownHookManager:54 - Deleting directory /tmp/spark-4193ed00-d3eb-4dfa-8969-7038029679e7
2019-05-23 23:56:03 INFO  BlockManager:54 - BlockManager stopped
2019-05-23 23:56:03 INFO  ShutdownHookManager:54 - Deleting directory /tmp/spark-a518bdb0-c1c7-42b3-98ea-5c234a8da608
2019-05-23 23:56:03 INFO  ShutdownHookManager:54 - Deleting directory /tmp/spark-4193ed00-d3eb-4dfa-8969-7038029679e7/userFiles-205232dc-74cd-487c-adb6-51a318cab014

解决方案：修改yarn-site.xml，添加如下配置

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

这个问题是由于内存不足导致的

参考：https://blog.csdn.net/love__guo/article/details/84141070

hello_zzw
关注
专栏目录
Hadoop YARN中内存的设置
linhanyichen的博客
02-07 2450
前两天将Spark(2.1)部署到YARN上之后，执行一个简单的分词程序，发现执行完Action 之后，Spark任务直接被Kill掉，然后退了出来。         查了资料，没有找到是什么原因。今天重新整理Ubuntu 14 x64环境，配置完YARN后，将Spark以--master yarn 的模式运行，发现报错： java.lang.IllegalStateException
【Spark】Spark On Yarn 安装
w1992wishes的博客
11-14 901
文章目录一、下载和解压二、配置2.1、配置 spark-default.conf，按需调整2.2、配置 spark-env.sh2.3、配置 slaves2.4、创建目录2.5、拷贝到其他节点2.6、配置环境变量三、启动与测试3.1、启动 Standalone 模式3.2、 启动 spark 的 history-server3.3、测试 Yarn 模式 一、下载和解压 https://archiv...
解决“Spark context stopped while waiting for backend“ issue
liuwei0376的专栏
03-15 6145
在配置为4C8G的虚拟机上安装hadoop生态全家桶，在安装Spark2，使用了社区版2.3的版本。 安装完毕后，使用spark2自带的样例程序 org.apache.spark.examples.SparkPi 测试了下，结果报了如下错误： Spark context stopped while waiting for backend 完整报错日志如下： 2021-03-12 15:05:32 INFO ShutdownHookManager:54 - Deleting directory /tmp/s
Spring Cloud踩坑之java.lang.IllegalStateException
凌枫ozo的博客
10-10 8590
java.lang.IllegalStateException: Error processing condition on org.springframework.boot.autoconfigure.task.TaskExecutionAutoConfiguration.taskExecutorBuilder 详细报错代码 D:\java\jdk1.8.0_201\bin\java....
Spark提交任务到yarn 报错提示虚拟内存不足解决办法
qq_32118757的博客
01-27 1024
Spark提交任务到yarn 报错提示虚拟内存不足解决办法
java.lang.IllegalStateException异常产生的原因及解决办法
热门推荐
冷月宫主的专栏
09-08 1万+
问题描述： 错误类型大致为以下几种： java.lang.IllegalStateException：Cannot   forward   a   response   that   is   already   committed  IllegalStateException：response already commited  IllegalStateException
hadoop及spark集群搭建后续
intersting的博客
11-10 600
问题1：查看 jps，里面只有HQuorumPeer，没有 HRegionServer 查看logs，master rejected startup because clock is out of sync 原因：几台机器时间对不上 解决方法：将有问题机器的时间校正 date -s xx:xx:xx 然后重启regionserver  hbase-daemon.sh --config ...
Spark 提交执行源码学习
weixin_42229056的博客
12-11 801
SparkSubmit 执行后，执行环境准备工作 private def runDriver(): Unit = { addAmIpFilter(None, System.getenv(ApplicationConstants.APPLICATION_WEB_PROXY_BASE_ENV)) userClassThread = startUserApplication() // This a bit hacky, but we need to wait until the
字节跳动大数据面试题：讲讲Spark资源调度和任务的源码
BigData98的博客
06-30 1420
其实 Spark 在某种层面上和 MR 是一样的，只不过 Spark 更适合于迭代计算的业务。那么二者的区别有哪些呢？我这里只列举几个大层面的东西，细小的东西我们会在下文继续分析： 当内存足够的情况下或者数据量相对较小的情况下，Spark RDD之间传输的数据不用上传 HDFS Spark 可以将 RDD 存储在内存，供下一个 task 使用 Spark 适用于迭代计算，如果不是迭代相关的业务问题，Spark 于 MR 的性能差不多 这里对 Spark 从集群启动到最后的 task 执行完毕.
spark报错Failed to send RPC XXX to / XXX: java.nio.channels.ClosedChannel
Chain的博客
07-09 1万+
命令如下： bin/spark-submit --class com.practice1.Tax1 --master yarn --num-executors 4 --driver-memory 1g --executor-memory 1g /opt/software/data/sparkcount.jar hdfs:/data_in/taxi.csv 1、错误如下： 19/07/0...
spark运维问题记录
shengpli′s blog
04-27 4147
环境：spark-2.1.0-bin-hadoop2.7 1.Spark启动警告：neither spark.yarn.jars not spark.yarn.archive is set，falling back to uploading libraries under SPARK_HOME 原因： 如果没设置spark.yarn.jars，每次提交到yarn，都会把$SPARK_HOME
spark执行优化——依赖上传到HDFS(spark.yarn.jar和spark.yarn.archive的使用)
OMars的博客
12-01 7458
一、简述 使用yarn的方式提交spark应用时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 看到输出的日志在输出Neither spark.yarn.jars nor spark.yarn.archive is set；一段指令后，会看到不停地上传本地jar到HDFS上，内容如下，这个过程会非常耗时。可以通过在spark-defaults.conf配置里添加spark.yarn.archive或spark.yarn.jars来缩小spark应用的启动时间。 Wi
spark 环境搭建坑
12-08 729
spark的新人会有什么坑 spark是一个以java为基础的，以Scala实现的，所以在你在安装指定版本的spark，需要检查你用的是对应spark使用什么版本的scala,可以通过spark-shel --version进行查看，也需要看一下scala使用的什么版本的jdk运行，在scala官方下载页面会有说明jdk版本，然后在编译时使用指定版本的jdk。并且jdk8是jdk1...
spark提交任务时出错
weixin_52822128的博客
11-21 1448
spark
Spark报错java.lang.IllegalStateException: User did not initialize spark context!
IT_tan的博客
07-09 2686
在这里插入图片描述 spark-submit报错java.lang.IllegalStateException: User did not initialize spark context! 解决：将这段代码去掉
spark常见问题处理
我的博客
08-24 4262
1、spark thriftserver报以下错误，其他诸如hive/sparksql等方式均正常 ERROR ActorSystemImpl: Uncaught fatal error from thread [sparkDriverActorSystem-akka.actor.default-dispatcher-379] shutting down ActorSystem [sparkDriverActorSystem] java.lang.OutOfMemoryError: Java heap
Spark（2.3.1）集群安装【一篇就够】
sjmz30071360的专栏
09-09 3639
操作系统：Linux（CenOS7） Spark集群至少需要有JDK、Hadoop、Scala、Spark 一、安装Spark依赖的Scala（每个节点都安装） 1.1 下载Scala（2.11.12） wget "https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz" 1.2 解压、配置环境变量 vi /etc...
机器学习之决策树分类算法
lixinkuan的博客
09-26 3338
决策树和随机森林：决策树和随机森林都是非线性有监督的分类模型。 决策树是一种树形结构，树内部每个节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶子节点代表一个分类类别。通过训练数据构建决策树，可以对未知数据进行分类， 随机森林是由多个决策树组成，随机森林中每一棵决策树之间没有关联，在得到一个随机森林后，当有新的样本进入的时候，随机森林中的每一棵决策树分别进行判断，分析出该样本属于哪一...
Flutter报错Error waiting for a debug connection: The log reader stopped unexpectedly
最新发布
09-06
很抱歉，我不太清楚Flutter报错Error waiting for a debug connection: The log reader stopped unexpectedly这个问题，但我建议您可以搜索Flutter官方文档，了解相关解决方案，以解决该问题。 ### 回答2： 出现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值