在spark环境中运行demo的时候报错

最新推荐文章于 2024-02-03 23:23:31 发布
最新推荐文章于 2024-02-03 23:23:31 发布
阅读量578 收藏
点赞数
分类专栏： java开发 文章标签： spark yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zsz459520690/article/details/50761273
版权
在使用Spark 1.6版本尝试提交SparkPi demo到YARN集群时遇到错误。提交命令包括设置master为yarn，client模式，executor核心数为1，并指定队列。错误信息未显示，但已成功停止SparkContext。
摘要由CSDN通过智能技术生成

在spark环境中运行demo的时候报错，怎么解决？



/usr/spark-1.6/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn  --deploy-mode client --executor-cores 1 --queue thequeue /usr/spark-1.6/lib/spark-examples*.jar 10






INFO SparkContext: Successfully stopped SparkContext

Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/.sparkStaging/application_1456656873625_0001/spark-assembly-1.6.0-hadoop2.6.0.jar could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
        at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1550)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:
最低0.47元/天 解锁文章
我是钟钟
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GC调优在Spark应用中的实践
01-30
摘要：Spark立足内存计算，常常需要在内存中存放大量数据，因此也更依赖JVM的垃圾回收机制。与此同时，它也兼容批处理和流式处理，对于程序吞吐量和延迟都有较高要求，因此GC参数的调优在Spark应用实践中显得尤为...
运行spark项目的问题
qq_33286695的博客
09-19 834
运行spark项目的问题： [root@aaaaaaa apptooljar]# spark-submit --master spark://aaaaaaa:6066 --deploy-mode client --class controller.KafkaConsumeFlume /opt/software/apptooljar/BIOUSERAI.jar Exception in thre...
idea编写spark遇到的错误:class "javax.servlet.FilterRegistration"'s signer information does not match signer
eyeofeagle的博客
12-28 1911
在cdh5.6集群里，运行spark streaming on yarn 遇到的一些错误和异常： 1, kafka生产者 java.lang.OutOfMemoryError 为了测试spark-streaming-kafka 的程序是否正常运作，打包kafka正产者为可执行jar包， 提交到集群运行： java -jar xx.jar, 报如下错误 D->8540099,SEX-&a
TasksetManager冲突导致SparkContext异常关闭
liujianhuiouc的专栏
03-16 2493
背景介绍 当正在悠闲敲着代码的时候，业务方兄弟反馈接收到大量线上运行的spark streaming任务的告警短信，查看应用的web页面信息，发现spark应用已经退出了，第一时间拉起线上的应用，再慢慢的定位故障原因。本文代码基于spark 1.6.1。 问题定位 登陆到线上机器，查看错误日志，发现系统一直报Cannot call methods on a stopped Spark
解决“Spark context stopped while waiting for backend“ issue
liuwei0376的专栏
03-15 5903
在配置为4C8G的虚拟机上安装hadoop生态全家桶，在安装Spark2，使用了社区版2.3的版本。 安装完毕后，使用spark2自带的样例程序 org.apache.spark.examples.SparkPi 测试了下，结果报了如下错误： Spark context stopped while waiting for backend 完整报错日志如下： 2021-03-12 15:05:32 INFO ShutdownHookManager:54 - Deleting directory /tmp/s
spark-submit提交应用程序出现的错误
04-27 4671
错误1 18/04/20 20:51:54 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL: '2' at org.apache.spark.SparkContext$.org$apache$spar...
Spark技术在基因序列分析中的应用
02-25
生命科学方兴未艾，从食品工业中的细菌培养鉴定到...本文将介绍如何利用Spark技术运行常用的基因序列分析应用，包括在Spark不同模式下的运行方法，运行过程以及运行结果分析，并比较在不同运算平台以及不同运行参数情况
Spark在Windows下的环境搭建方法
10-16
虽然Spark可以在没有Hadoop的环境下运行，但是配置Hadoop环境可以使得Spark和Hadoop更好地兼容，充分利用Hadoop生态系统中的组件。 Hadoop的安装并不复杂，可以从Apache的Hadoop Releases页面下载对应版本的安装包...
SparkDemo.rar
11-13
在SparkDemo中，你可以找到如何使用Scala、Java或Python API实现Spark Count的示例代码，这有助于理解Spark的基本操作和编程模型。 接着，Spark SQL是Spark的一个重要组件，它允许用户使用SQL查询数据，同时支持...
Spark context stopped while waiting for backend
最新发布
2301_78038072的博客
02-03 640
通过在yarn-site.xml中添加如下配置项，并重启yarn，程序在 “–driver-memory 600m --executor-memory 600m”的参数下已可以成功运行。这个错误通常意味着 Spark 应用程序在等待后端资源或服务时，Spark 上下文（context）被关闭或终止了。翻译过来就是 ：Spark上下文在等待后端时停止。
基于yarn执行spark程序(client模式)报错如下:Yarn application has already ended! It might have been killed or unabl
qq_44160357的博客
02-12 792
在yarn上执行spark程序, 是client模式, 然后冒出了以下错误: 20/02/12 16:08:04 ERROR spark.SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Yarn application has already ended! It might have ...
Spark on Kubernetes提交测试任务失败报错：User "system:serviceaccount:default:default" cannot get resource "pods
merrily01的博客
11-06 8354
Spark On Kubernetes 通过cluster方式提交spark-submit example.jar包测试任务，driver-pod创建成功，任务失败，driver pod报错日志如下： External scheduler cannot be instantiated Caused by: io.fabric8.kubernetes.client.KubernetesClien...
六（1）、spark遇到的问题
Angular_need的博客
04-12 4221
1、意外退出spark-shell，而不是quit，然后再输入spark-shell命令的时候，报错： 19/04/11 13:42:32 WARN util.Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041. jps查看，SparkSubmit在，查看4040端口也是被SparkSubmit占用...
运行Spark报错org.apache.spark.SparkException: A master URL must be set in your configuration
QYHuiiQ
10-08 1041
【代码】运行Spark报错org.apache.spark.SparkException: A master URL must be set in your configuration。
spark 1.6 idea本地运行错误
weixin_30788239的博客
08-14 162
将spark maven更新至1.6，运行原有程序，发现以下错误： java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use a larger heap size. at org.apache.spark.memory.UnifiedMemo...
spark 终止 运行_Spark --- 启动、运行、关闭过程
weixin_39737051的博客
12-19 1064
1 [abc@search-engine---dev4 spark]$ ./bin/run-example SparkPi2 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties3 16/06/07 03:43:20 INFO SparkContext: Running Spark versi...
IDEA 本地运行 Spark Demo 报错
runzhliu大数据/容器日记
11-28 571
运行spark demo时出现java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)。 这个问题可以说是新手必须会遇到的问题了，主要原因是环境中的 Scala 版本和 Spark 的 Scala 版本不一致所导致的。 很多文章也提到了，把 pom.xml 文件改一下，到 Project 信息里查看 Sc...
用scala写spark堆空间问题解决
qq_41371858的博客
05-27 626
19/05/27 17:23:00 INFO SecurityManager: Changing modify acls groups to: 19/05/27 17:23:00 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view ...
spark RDD的底层原理、任务提交、资源调度等记录
maketubu7的博客
07-23 1754
开始在IDEA中编写代码（可以用spark实现原始的mapreduce Spark on windows local   异常信息：     1. 17/05/20 09:32:08 ERROR SparkContext: Error initializing SparkContext.         org.apache.spark.SparkException: A master URL ...
Spark 作业在运行过程中报错，而且报错信息中含有Serializable等类似词汇，那么可能是序列化问题导致的报错
05-24
如果你在运行 Spark 作业时遇到了Serializable相关的报错信息，那么很有可能是因为你在代码中使用了不可序列化的对象或者类。比如，你可能在一个函数中使用了一个外部对象，而这个对象并没有实现 Serializable 接口...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值