spark历史服务器配置

最新推荐文章于 2023-02-04 22:30:16 发布
最新推荐文章于 2023-02-04 22:30:16 发布
阅读量1.7k 收藏
点赞数
分类专栏： 大数据 spark 文章标签： 大数据 spark 日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzw_17600691357/article/details/90739552
版权

查看spark任务日志记录，需要配置历史服务器，将日志记录保存

1.在客户端…/spark/conf/spark-defaults.conf中配置：

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://mycluster/spark/log
spark.history.fs.logDirectory 	 hdfs://mycluster/spark/log
spark.eventLog.compress true

2.启动历史日志服务：

../spark/sbin/start-history-server.sh

3.访问

webui : mynode4:18080
hello_zzw
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文讲透sparkHistoryServer与yarnHistoryServer关系
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
02-16 976
一文讲透sparkHistoryServer与yarnHistoryServer关系
Spark配置历史服务器
zhongmingyu
03-24 842
由于 spark-shell 停止掉后，集群监控 linux1:4040 页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。1 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf。3 注意：需要启动 hadoop 集群，HDFS 上的directory 目录需要提前存在。2 修改 spark-default.conf 文件，配置日志存储路径。4 修改 spark-env.sh 文件, 添加日志配置。
配置 spark 历史服务器
hj1993的博客
02-04 543
在没有退出之前, 我们是可以看到正在执行的任务的日志情况，一旦任务执行结束，web-ui就不能看到历史任务，需要额外配置历史服务器。
Spark 配置历史服务器
涵sir的博客
07-20 1105
类似Hadoop，Spark也有自己的history server，这里我们就来配置下： 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf mv spark-defaults.conf.template spark-defaults.conf 修改 spark-default.conf 文件，配置日志存储路径 spark.eventLog.enabled true spark.eventLog.dir
Spark三种属性配置方式详解
09-30
有时间还是多学习知识比较好，这篇文章主要介绍了Spark三种属性配置方式详解，具有一定参考价值，需要的朋友可以了解下。
Spark3.0.0配置文件.zip
08-09
用于Spark3.0.0的模式配置
Spark集群配置1
08-08
Spark配置1.所需环境：UbuntuHadoopScala 下载地址：http://www.scala-lang.org/download/2.10
Spark平台搭建配置文档
05-18
Spark平台搭建配置 步骤详细-过程完整
docker 部署spark集群配置文件
最新发布
09-12
资源名称: Spark 集群配置文件 资源类型: 配置文件 描述: 这个资源包含了一个基本的Spark集群配置，包括Hadoop、Hive、MySQL和Spark的配置文件。 文件清单: Dockerfile build.sh build_network.sh -yarn-site.xml -...
Spark运行环境——Yarn模式
weixin_52948205的博客
10-11 1403
Spark运行环境——Yarn模式
配置spark历史服务(spark二)
dingxiaohuang4790的博客
09-17 411
1. 编辑spark-defaults.conf位置文件 添加spark.eventLog.enabled和spark.eventLog.dir的配置修改spark.eventLog.dir为我们之前在hdfs配置的端口hdfs配置参考hadoop(七)集群配置同步（hadoop完全分布式四）|9 [shaozhiqi@hadoop102 conf]$ pwd /opt/modul...
Spark系列(一)spark简介及安装配置
qq_38130094的博客
07-13 6132
什么是Spark：Spark是一个用于大规模数据处理的统一计算引擎注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎内存计算Spark中一个最重要的特性就是基于内存进行计算，从而让它的计算速度可以达到MapReduce的几十倍甚至上百倍2. spark特点：2.1 Speed：速度快由于Spark是基于内存进行计算的，所以它的计算性能理论上可以比MapReduce快100倍。
spark配置
m0_50289266的博客
03-14 3476
spark配置
开启HadoopYarn的日志监控功能,配置Spark历史服务，解决web端查看日志时的Java.lang.ExceptionUnknown
web13085338152的博客
08-29 656
本文hadoop配置环境目录：快捷一点可以使用 scp 命令将配置文件拷贝覆盖到其他机器配置spark-defaults.conf文件该目录与上述yarn-site.xml 中的目录需要一致。
spark的历史服务器配置
qq_45292079的博客
12-30 361
spark2.4.4、hadoop3.4.4
教你如何轻松配置Spark的历史日志服务器JobHistoryServer?
大数据梦想家
02-22 9198
        默认情况下，Spark程序运行完毕关闭窗口之后，就无法再查看运行记录的Web UI(4040)了，但通过 HistoryServer 可以提供一个服务, 通过读取日志文件, 使得我们可以在程序运行结束后, 依然能够查看运行过程。本篇博客，博主就为大家带来在Spark上配置JobHistoryServer...
spark中webUI的启动、调试、配置历史服务器，spark-Master-HA等
wyqwilliam的博客
07-24 3402
Spark WEBUI         【Jobs,Stages,StorageLevel,Environment,Executors,SQL,Streaming 】         4040端口可以看到当前application中的所有的job,点击job可以看到当前job下对应的stage,点击stage出现stage下的task。 上传文件： hdfs dfs -put /root/te...
spark历史服务器配置（standalone）
破晓的成长之路
10-26 430
1、修改conf/spark-default.conf文件(mv spark-defaults.conf.template spark-defaults.conf)如下 #open the log services spark.eventLog.enabled true #set the work directory of log server spark.eventLog.d...
spark-yarn历史服务器的配置
03-29
在安装和配置 Spark-YARN 历史服务器之前，需要确保已经安装了 Spark 和 YARN，并且 Spark 和 YARN 的版本兼容。 以下是配置 Spark-YARN 历史服务器的步骤： 1. 下载 Spark-YARN 历史服务器 从 Spark 官方网站下载 Spark-YARN 历史服务器。 2. 配置 Spark-YARN 历史服务器 创建一个 spark-defaults.conf 文件并添加以下配置： ``` spark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider spark.history.fs.logDirectory=hdfs://<YARN-MASTER>:8020/logs/spark/logs spark.history.ui.port=18080 ``` 其中，<YARN-MASTER> 是 YARN 的主节点地址。 3. 配置 YARN 日志聚合 在 yarn-site.xml 文件中添加以下配置： ``` <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>2592000</value> </property> ``` 其中，yarn.log-aggregation-enable 配置启用 YARN 日志聚合，yarn.log-aggregation.retain-seconds 配置聚合后的日志保留时间。 4. 启动 Spark-YARN 历史服务器 使用以下命令启动 Spark-YARN 历史服务器： ``` ./sbin/start-history-server.sh ``` 5. 访问 Spark-YARN 历史服务器 访问 http://<history-server>:18080，其中，<history-server> 是 Spark-YARN 历史服务器的地址。 在 Spark-YARN 历史服务器的网页中可以查看 Spark 应用程序的历史记录和性能指标。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值