大数据学习（五）：如何使用 Livy提交spark批量任务--转载

最新推荐文章于 2024-05-15 10:01:26 发布
最新推荐文章于 2024-05-15 10:01:26 发布
阅读量954 收藏 2
点赞数
分类专栏： livy
原文链接：https://blog.csdn.net/liao392781/article/details/90407212
版权

Livy是一个开源的REST 接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。

 

Livy封装了spark-submit并支持远端执行。

启动服务器

执行以下命令，启动livy服务器。

./bin/livy-server

这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。如果是本地开发模式的话，直接使用本地文件即可（注意必须配置livy.conf文件，设置livy.file.local-dir-whitelist = directory，以允许文件添加到session）。

提交jar包

首先我们列出当前正在执行的任务：

 

  1. curl localhost:8998/sessions | python -m json.tool % Total % Received % Xferd Average Speed Time Time Time Current

  2. Dload Upload Total Spent Left Speed

  3. 100 34 0 34 0 0 2314 0 --:--:-- --:--:-- --:--:-- 2428

  4. {

  5. "from": 0,

  6. "sessions": [],

  7. "total": 0

  8. }

然后提交jar包，假设提交的jar包位于hdfs中，路径为/usr/lib/spark/lib/spark-examples.jar

 

  1. curl -X POST --data '{"file": "/user/romain/spark-examples.jar", "className": "org.apache.spark.examples.SparkPi"}' -H "Content-Type: application/json" localhost:8998/batches

  2. {"id":0,"state":"running","log":[]}

返回结果中包括了提交的ID，这里为0，我们可以通过下面的命令查看任务状态：

 

  1. curl localhost:8998/batches/0 | python -m json.tool

  2. % Total % Received % Xferd Average Speed Time Time Time Current

  3. Dload Upload Total Spent Left Speed

  4. 100 902 0 902 0 0 91120 0 --:--:-- --:--:-- --:--:-- 97k

  5. {

  6. "id": 0,

  7. "log": [

  8. "15/10/20 16:32:21 INFO ui.SparkUI: Stopped Spark web UI at http://192.168.1.30:4040",

  9. "15/10/20 16:32:21 INFO scheduler.DAGScheduler: Stopping DAGScheduler",

  10. "15/10/20 16:32:21 INFO spark.MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!",

  11. "15/10/20 16:32:21 INFO storage.MemoryStore: MemoryStore cleared",

  12. "15/10/20 16:32:21 INFO storage.BlockManager: BlockManager stopped",

  13. "15/10/20 16:32:21 INFO storage.BlockManagerMaster: BlockManagerMaster stopped",

  14. "15/10/20 16:32:21 INFO scheduler.OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!",

  15. "15/10/20 16:32:21 INFO spark.SparkContext: Successfully stopped SparkContext",

  16. "15/10/20 16:32:21 INFO util.ShutdownHookManager: Shutdown hook called",

  17. "15/10/20 16:32:21 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-6e362908-465a-4c67-baa1-3dcf2d91449c"

  18. ],

  19. "state": "success"

  20. }

此外，还可以通过下面的api，获取日志信息：

 

  1. curl localhost:8998/batches/0/log | python -m json.tool

  2. % Total % Received % Xferd Average Speed Time Time Time Current

  3. Dload Upload Total Spent Left Speed

  4. 100 5378 0 5378 0 0 570k 0 --:--:-- --:--:-- --:--:-- 583k

  5. {

  6. "from": 0,

  7. "id": 3,

  8. "log": [

  9. "SLF4J: Class path contains multiple SLF4J bindings.",

  10. "SLF4J: Found binding in [jar:file:/usr/lib/zookeeper/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]",

  11. "SLF4J: Found binding in [jar:file:/usr/lib/flume-ng/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]",

  12. "SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.",

  13. "SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]",

  14. "15/10/21 01:37:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable",

  15. "15/10/21 01:37:27 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032",

  16. "15/10/21 01:37:27 INFO yarn.Client: Requesting a new application from cluster with 1 NodeManagers",

  17. "15/10/21 01:37:27 INFO yarn.Client: Verifying our application has not requested more than the maximum memory capability of the cluster (8192 MB per container)",

  18. "15/10/21 01:37:27 INFO yarn.Client: Will allocate AM container, with 1408 MB memory including 384 MB overhead",

  19. "15/10/21 01:37:27 INFO yarn.Client: Setting up container launch context for our AM",

  20. "15/10/21 01:37:27 INFO yarn.Client: Setting up the launch environment for our AM container",

  21. "15/10/21 01:37:27 INFO yarn.Client: Preparing resources for our AM container",

  22. ....

  23. ....

  24. "15/10/21 01:37:40 INFO yarn.Client: Application report for application_1444917524249_0004 (state: RUNNING)",

  25. "15/10/21 01:37:41 INFO yarn.Client: Application report for application_1444917524249_0004 (state: RUNNING)",

  26. "15/10/21 01:37:42 INFO yarn.Client: Application report for application_1444917524249_0004 (state: FINISHED)",

  27. "15/10/21 01:37:42 INFO yarn.Client: ",

  28. "\t client token: N/A",

  29. "\t diagnostics: N/A",

  30. "\t ApplicationMaster host: 192.168.1.30",

  31. "\t ApplicationMaster RPC port: 0",

  32. "\t queue: root.romain",

  33. "\t start time: 1445416649481",

  34. "\t final status: SUCCEEDED",

  35. "\t tracking URL: http://unreal:8088/proxy/application_1444917524249_0004/A",

  36. "\t user: romain",

  37. "15/10/21 01:37:42 INFO util.ShutdownHookManager: Shutdown hook called",

  38. "15/10/21 01:37:42 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-26cdc4d9-071e-4420-a2f9-308a61af592c"

  39. ],

  40. "total": 67

  41. }

还可以在命令行中添加参数，例如这里计算一百次：

 

  1. curl -X POST --data '{"file": "/usr/lib/spark/lib/spark-examples.jar", "className": "org.apache.spark.examples.SparkPi", "args": ["100"]}' -H "Content-Type: application/json" localhost:8998/batches

  2. {"id":1,"state":"running","log":[]}

如果想终止任务，可以调用以下API：

 

  1. curl -X DELETE localhost:8998/batches/1

  2. {"msg":"deleted"}

当重复调用上述接口时，什么也不会做，因为任务已经删除了：

 

  1. curl -X DELETE localhost:8998/batches/1

  2. session not found

提交Python任务

提交Python任务和Jar包类似：

 

  1. curl -X POST --data '{"file": "/user/romain/pi.py"}' -H "Content-Type: application/json" localhost:8998/batches

  2. {"id":2,"state":"starting","log":[]}

检查任务状态：

 

  1. curl localhost:8998/batches/2 | python -m json.tool

  2. % Total % Received % Xferd Average Speed Time Time Time Current

  3. Dload Upload Total Spent Left Speed

  4. 100 616 0 616 0 0 77552 0 --:--:-- --:--:-- --:--:-- 88000

  5. {

  6. "id": 2,

  7. "log": [

  8. "\t ApplicationMaster host: 192.168.1.30",

  9. "\t ApplicationMaster RPC port: 0",

  10. "\t queue: root.romain",

  11. "\t start time: 1445417899564",

  12. "\t final status: UNDEFINED",

  13. "\t tracking URL: http://unreal:8088/proxy/application_1444917524249_0006/",

  14. "\t user: romain",

  15. "15/10/21 01:58:26 INFO yarn.Client: Application report for application_1444917524249_0006 (state: RUNNING)",

  16. "15/10/21 01:58:27 INFO yarn.Client: Application report for application_1444917524249_0006 (state: RUNNING)",

  17. "15/10/21 01:58:28 INFO yarn.Client: Application report for application_1444917524249_0006 (state: RUNNING)"

  18. ],

  19. "state": "running"

  20. }

获取日志信息：

curl localhost:8998/batches/2/log |  python -m json.tool

 

大数据学习（五）：如何使用 Livy提交spark批量任务
技术宅拯救世界
05-21 6717
Livy是一个开源的REST 接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。 Livy封装了spark-submit并支持远端执行。 启动服务器 执行以下命令，启动livy服务器。 ./bin/livy-server 这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。如果是本地开发模式的话，直接使用本地文件即可（注意必须配置liv...
大数据学习（四）：Livy的安装配置及pyspark的会话执行
技术宅拯救世界
05-21 1794
一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。它提供了以下这些基本功能： 提交Scala、Python或是R代码片段到远端的Spark集群上执行； 提交Java、Scala、Python所编写的Spark作业到远端的Spark集群上执行； 提交批处理应用在集群中运行。 从Livy所提供的基本功能可以看到Livy涵...
Livy0.7.0 提交sparkStreaming 任务
weixin_40004348的博客
09-14 813
Livy0.7.0 提交sparkStreaming 任务 livy提交spark方式： Livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。 livy 将每一个启动的spark任务称之为session,Session是通过RPC协议在spark集群和livy服务端进行通信。根据处理方式不同分为两种Session类型： （1）交互式会话，这与Spark中的交互式处理相同 如spark shell，交互式会话在其启动后可以接收用
#Livy配置Kerberos,#调用Hadoop组件,#Java 实现Livy大数据调用,#java拉取hive数据同步到本地
SirHongGe的博客
04-28 1069
#Livy配置Kerberos,#调用Hadoop组件,#Java 实现Livy大数据调用,#java拉取hive数据同步到本地
livy使用样例_livy提交spark应用
weixin_29015051的博客
01-14 912
spark-submit的使用shell时时灵活性较低，livy作为spark提交的一种工具，是使用接口或者java客户端的方式提交，可以集成到web应用中1.客户端提交的方式核心代码LivyClient client = new LivyClientBuilder().setURI(new URI(livyUrl)).build();try {System.err.printf("Uploadi...
livy使用样例_Spark Livy入门到精通视频教程下载
weixin_29530803的博客
02-01 144
Spark Livy入门到精通视频教程下载2019年课程介绍：Livy是cloudera开发的通过REST来连接、管理spark的解决方案，Livy结合了spark job server和Zeppelin的优点,并解决了spark job server和Zeppelin的缺点，此套Spark Livy入门到精通视频教程共包含20课时的学习内容，详细内容见下方课程目录介绍。Spark Livy入门到...
Hadoop大数据平台-建设要求及应答方案.docx
10-14
台管理层：Apache HDFS, Apache YARN, Apache ZooKeeper, Cloudera Manager, Apache Oozie, Apache Hive, Apache HBase, Apache Kafka, Apache Sentry, Apache Ranger, Apache Atlas, Apache NiFi, Apache Livy, ...
大数据图标大全.docx
12-24
39. **Livy**: 提供Spark REST服务，方便远程管理和控制Spark集群。 40. **HAWQ**: 针对分析应用的Hadoop原生大规模并行SQL分析引擎。 41. **Chukwa**: 开源的大规模分布式系统的数据收集系统。 42. **Kudu**: 为...
大数据人群画像技术方案
tangpengtao的专栏
07-04 1442
1：项目背景 当一个app达到一定的体量，千人千面、个性化营销是每一个app提升留存、付费必备法宝。始终离不开营销利器，用户画像。项目从0到1构建画像体系，由T+1升级为实时。过程中不断的优化画像方案，赋能产品、业务。在个性化营销的路上越来越顺滑。 2：整体的技术方案 ...
Apache Griffin调试各种报错总结
weixin_43160819的博客
06-28 2388
1、数据库报错 Table ‘quartz.DATACONNECTOR’ doesn’t exist 2021-01-18 14:54:54.135 ERROR 122541 --- [http-nio-8081-exec-8] o.a.c.c.C.[.[.[.[dispatcherServlet] [175] : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Re
Livy - 基于Apache Spark之上的REST服务
03-30
Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较
livy源码阅读基础知识
风雨落
04-23 866
1、解析json数据： interactiveSession使用的jackson来解析传入的request 在org.apache.livy.server.JsonServlet中 提供了三种不同的方法来处理JSON * 流式API - 读取并将JSON内容写入作为离散事件。 JsonParser读取数据，而JsonGenerator写入数据。它是三者中最有效的方法，是最低的开...
Livy调度Spark任务
willyan2007的博客
05-14 558
安装配置LIVY 下载 首页：https://livy.incubator.apache.org/ 下载：https://livy.incubator.apache.org/download/ 下载文件 apache-livy-0.7.0-incubating-bin.zip 配置 解压后的目录结构 配置文件在conf目录下 先用mv 命令生成红框中两个文件 livy.conf改如下三个地方 Spark master配置yarn，表示执行SparkOnYarn模式。
【大数据】Spark开源REST服务--Apache Livy的安装和使用
如切如磋，如琢如磨，臻于至善。
03-27 1064
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库
【Spark】通过livy2提交spark任务
hyj
10-27 1465
一、向livy2提交spark自带例子 [root@ambari1 Test]# curl -X POST --data '{"file": "/home/Test/spark-examples_2.11-2.2.0.2.6.3.0-235.jar", "className": "org.apache.spark.examples.SparkPi","args":["100"]}' -H "Content-Type: application/json" 192.168.xxx.xx3:8999/batc
spark系列-应用篇之通过livy提交Spark任务
热门推荐
马各马它
08-24 1万+
前言 上一篇使用yarn api的提交spark任务比较麻烦， 这次我们使用livy来提交spark任务。livy的使用十分简单，功能上比yarn api还要强大，支持提交spark代码片断，session共享 安装 下载livy0.5.0，下载完成后进行解压。 配置conf/livy.conf文件，设置livy.spark.master = yarn。其他的配置项目，可以根据你的需要来配...
大数据系统架构师系列之微服务拆分与集成与知名大数据框架应用剖析
05-14
在“微服务”中有其他一些流行的通信方式，如发布/订阅或异步、事件驱动的点对点消息传递、服务的拆分与集成等，都是大数据集架构师必须掌握和了解的核心技能。本专题课程从实战的角度讲解了基于事件驱动的大数据消息驱动与传递系统，包括但不限于如下内容：服务拆分任务11： 服务拆分维度与策略任务12： 服务依赖关系与数据任务13： 服务事务边界服务集成任务14： 系统集成基础任务15： 接口集成任务16： 数据集成任务17： 客户端集成和外部集成知名电商企业离线数据仓库经典框架应用与架构设计解析知名电商企业实时大数据分析框架应用与架构设计解析
探索Livy：无缝对接Apache Spark的REST接口
最新发布
gitblog_00029的博客
05-15 431
探索Livy：无缝对接Apache Spark的REST接口 去发现同类优质开源项目:https://gitcode.com/ 项目简介 欢迎来到Livy，一个开放源码的REST接口，它使您能够从任何地方与Apache Spark进行交互。无论您的Spark环境是本地运行还是在Apache Hadoop YARN上，Livy都能提供服务。它的主要功能包括： 支持Scala、Python和R的交互...
livy部署和使用
beiduofen2011的专栏
11-03 2257
部署 使用版本：apache-livy-0.7.1 环境：spark(配置中已添加hive-site.xml) , hive ,hadoop(hdfs+yarn) 基于centos livy只需要配置两个文件(livy-env.sh,livy.conf)： livy-env.sh 中添加环境变量配置 export JAVA_HOME=/usr/local/jdk/jdk1.8.0_141 export HADOOP_HOME=/usr/local/jdk/azkabanWebServe...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值