spark-shell运行spark任务参数设置

最新推荐文章于 2023-11-27 23:47:23 发布

阳光洒落你窗前

最新推荐文章于 2023-11-27 23:47:23 发布

阅读量2w

点赞数 2

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/zrc199021/article/details/52635819

版权

在使用Spark Shell时遇到任务未接受资源的问题，可以通过设置启动参数解决。如指定executor内存、总CPU核数和每个executor的CPU核数。例如：`--executor-memory 10g --total-executor-cores 10 --executor-cores 1`。在Yarn上运行Spark Shell时，Driver需运行在本地。可通过修改Spark Shell启动脚本，将这些参数设为默认，避免每次手动输入。

摘要由CSDN通过智能技术生成

之前初学spark用spark-shell执行小程序的时候, 每次执行action操作(比如count,collect或者println),都会报错:

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

同时如果去spark ui上(公司默认为ip:18080)会看到spark-shell为核数core为0:
这里写图片描述

原因是启动spark-shell的时候没有给他分配资源, 所以我们应该在启动spark-shell的时候这么写:

/home/mr/spark/bin/spark-shell --executor-memory 4G \
                               --total-executor-cores 10 \

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

阳光洒落你窗前

关注关注

2
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

spark-shell运行参数--master

pursuitK的博客

02-27

2590

spark-shell spark-shell 如果直接使用spark-shell命令直接运行，那么它的一切参数都使用的是默认配置,例如: #资源存储的位置，默认为本地，以及使用什么调度框架，默认使用的是spark内置的资源管理和调度框架Standalone --master 默认为 local[*] #默认使用集群最大的内存大小 --executor-memorty #默认使用最大核数 --total-executor-cores spark-shell [options] spark-sh

Spark：一文带你掌握Spark基础命令

最新发布

Liu_y_xin的博客

07-11

542

启动spark创建rdd系统将原文件中的内容以行为单位作为rdd中的元素，类型均为字符串类型。

参与评论您还未登录，请先登录后发表或查看评论

spark-shell 参数

hua_jing的专栏

06-28

6150

Usage: ./bin/spark-shell [options] Options: --master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. --deploy-mode DEPLOY_MODE Whether to launch the driver program loca...

shell脚本调用spark-sql

weixin_34242658的博客

07-19

1132

为了更方便的查询并产生报表，需要使用shell脚本调用spark-sql spark/bin/spark-sql --master spark://host:7077 -f ${SQL_FILE} > ${OUT_FILE} 转载于:https://www.cnblogs.com/realzjx/p/5686322.html...

spark-shell客户机设置

Dean Chen的专栏

11-19

3869

本文介绍spark集群客户机的设置安装程序spark集群是standalone集群在root帐号下，从spark集群的master上复制spark1.5.2的安装包到目录下，这样配置文件就已经复制过来，其实主要是zookeeper的配置。owner为root，group和other用户都是可以读和运行drwxr-xr-x 14 root root 4.0K Nov 16 11:48 spar

【spark床头书系列】spark-shell 任务提交任务参数选项说明示例源码权威详解

wang2leee的博客

11-27

1199

spark-shell 任务提交任务参数选项说明示例源码详解

Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077

01-20

Driver是负责执行用户代码和协调任务的进程，而Executor是在工作节点上运行任务的实际进程。在这种情况下，问题出在Driver内存不足上。错误消息建议通过`--driver-memory`选项或在Spark配置中设置`spark.driver....

Spark-shell批量命令执行脚本的方法

09-15

接着，使用`exec`命令启动`$SPARK_HOME/bin/spark-shell`，并传入一系列参数，例如队列名称、应用程序名称、执行器核心数、内存大小以及配置项等。在`!EOF`和`!EOF`之间的部分，我们可以写入Spark SQL或DataFrame...

spark-submit 与 spark-shell 介绍

a1786742005的博客

03-15

2013

一、spark-submit 介绍 1、spark-submit 介绍程序一旦打包好，就可以使用 bin/spark-submit 脚本启动应用了。这个脚本负责设置 spark 使用的 classpath 和依赖，支持不同类型的集群管理器和发布模式。 2、运行方式 ./bin/spark-submit \ --class <main-class> --master <m...

hive on spark参数配置

weiha666的博客

12-23

3022

hive on Spark参数： set spark.master=yarn-cluster; #设置spark提交模式 set hive.execution.engine=spark; #设置计算引擎 set spark.yarn.queue=queue_name; #设置作业提交队列 set spa...

Spark：部署和standalone配置调优

weixin_34110749的博客

01-04

236

spark可以不进行任何配置，直接运行，这时候spark像一个java程序一样，是直接运行在VM中的。 spark还支持提交任务到YARN管理的集群，称为spark on yarn模式。 spark还支持Mesos管理的集群，Mesos和YARN一样都是管理集群资源的。另外spark自己提供了一种完整的集群管理模式，就是standa...

Spark 调优汇总

大数据Spark教程

12-12

699

阅读文本大概需要 9 分钟。之前的两篇文章 Spark 调优一瞥 | shuffle 调优 Spark 的数据本地化分别讲了 shuffle 的参数调优和数据本地化的调优。本文将从以下几个方面来介绍一下 Spark 的调优。资源调优并行度调优代码调优数据本地化内存调优 shuffle 参数堆外内存数据倾斜（内容较多, 下篇文章...

Spark内存分析

ralph_wren的博客

02-15

2146

本文简要介绍了spark内存中storage和execution内存的获取逻辑,摘取源码部分片段加以分析

Spark-Shell操作

筱白熊

04-08

3545

Spark-Shell操作 spark-shell简述 spark-shell是REPL（Read-Eval-Print Loop，交互式解释器），它为我们提供了交互式执行环境，表达式计算完成以后就会立即输出结果，而不必等到整个程序运行完毕，因此可以及时查看中间结果并对程序进行修改，这样可以在很大程度上提升程序开发效率。spark-shell支持Scala和Python，Spark框架使用Scala语言开发的，使用spark-shell命令会默认进入Scala的交互式执行环境。如果要进入Python的交

Executor 启动时，资源通过哪几个参数指定

weixin_59295776的博客

11-12

338

1）num-executors是executor的数量 2）executor-memory 是每个executor使用的内存 3）executor-cores 是每个executor分配的CPU

使用Spark shell

需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号

07-01

7235

大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下： Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s

Spark资源调度分配

fighting

03-31

3824

1、任务调度与资源调度任务调度：是指通过DAGScheduler，TaskScheduler，SchedulerBackend等进行的作业调度。资源调度：是指应用程序获取资源。任务调度是在资源调度的基础上，没有资源调度，那么任务调度就没有任何意义了。 2、分配Driver（只对cluster模式有效） Spark的Driver的运行有2种模式，一种是Client模式（Driver程...

spark之spark任务的提交方式【spark-shell、spark-submit】

06-28

使用spark-submit有许多优点，例如可以将任务提交给集群让其在后台执行、可以设置任务的各种参数（例如内存设置、CPU核心数等）以优化任务执行效率。同时，在生产环境下，使用spark-submit也可以通过将任务提交到...