Hadoop3和Spark3配置日志聚合，客户端电脑实现YARN页面跳转查看Hadoop和Spark历史任务日志

最新推荐文章于 2023-09-13 16:04:19 发布
最新推荐文章于 2023-09-13 16:04:19 发布
阅读量477 收藏
点赞数
分类专栏： 大数据 文章标签： Hadoop3和Spark3 配置日志聚合功能 实现YARN页面跳转查看日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/109674611
版权
大数据 专栏收录该内容
537 篇文章 547 订阅 ¥49.90 ¥99.00
订阅专栏
本文介绍了如何配置Hadoop3和Spark3的日志聚合，使得可以通过YARN页面跳转查看Hadoop和Spark的历史任务日志。详细步骤包括在客户端电脑配置主机名与IP映射，以及修改mapred-site.xml、yarn-site.xml、spark-env.sh和spark-defaults.conf等配置文件。配置完成后，用户可以直接在YARN页面的History链接中查看任务日志。
摘要由CSDN通过智能技术生成

Hadoop3和Spark3配置日志聚合，客户端电脑实现YARN页面跳转查看Hadoop和Spark历史任务日志

Hadoop3和Spark3配置日志聚合的作用：将日志文件聚合到一起，通过web界面方便查看，并可以设置日志保存时间，节省空间，存储在HDFS上比较容易读取。

一、Hadoop、Spark日志聚合页面和YARN任务页面介绍

Hadoop日志聚合页面：
在这里插入图片描述
Spark日志聚合页面：
在这里插入图片描述
在能查看Hadoop、Spark日志聚合页面的基础上，目标实现通过YARN页面跳转查看Hadoop、Spark历史任务日志，即点击YARN页面的History链接会自动跳转到任务日志页面。
在这里插入图片描述
点击YARN页面的Hi

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Hadoop 之 日志管理——应用在 YARN 中运行时的日志
Andrew的成长之路
02-01 1万+
背景：在写这篇博文前，自己一直没有弄明白一个问题，“在 Map 函数和 Reduce 函数中使用 System.out.print 打印日志时，输出内容在哪里显示？”。试了好多回，在 log/* 目录下找了很久都没有找到，并且尝试了很多次去找，都没有成功。这让我想通过此方法调试 Map/Reduce 函数以失败告终。最后，一次偶然的机会让我发现了关于日志的玄机。通过自己的观察和阅读参考书籍，终于弄明
hadoop2 作业执行过程之yarn调度执行
weixin_33843409的博客
03-03 284
YARN是hadoop系统上的资源统一管理平台，其主要作用是实现集群资源的统一管理和调度（目前还不完善，只支持粗粒度的CPU和内存的的调配）； 它的基本思想是将Mapreduce的jobtracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统资源的管理和分配，而...
开启spark日志聚集功能
weixin_34388207的博客
05-26 314
spark监控应用方式： 1)在运行过程中可以通过web Ui:4040端口进行监控 2)任务运行完成想要监控spark，需要启动日志聚集功能 开启日志聚集功能方法： 编辑conf/spark-env.sh文件，在其中加入如下部分： SPARK_HISTORY_OPTS=-Dspark.history.provider=org.apache.spark.deploy.history.Fs...
010 Spark中的监控----日志聚合的配置，以及REST Api
weixin_34194702的博客
02-08 172
一：History日志聚合的配置 1.介绍 　　Spark的日志聚合功能不是standalone模式独享的，是所有运行模式下都会存在的情况 　　默认情况下历史日志是保存到tmp文件夹中的 　　 2.参考官网的知识点位置 　　   3.修改spark-defaults.conf 　　   4.修改env.sh 　　   5.在HDFS上新建/spark-history 　　bin/hdfs dfs ...
【spark】一 spark on yarn的日志查看
百物易用是苏生
04-15 4593
spark on yarn (ambari + zeppelin)查看日志 (安全因素，端口映射不够用) 日志三种方式： ①yarn 的 hadoop的端口页面 url(ip:8084/cluster/app/application_15xxxx_001) 中 可看到Log下面 带连接：xxhost:8042/node/containerlogs/container_e09_applicatio...
Hadoop3部署+笔记
删繁就简三秋树
03-10 379
Hadoop基本概念 大数据处理最典型应用： 公司产品运营情况分析 电商推荐系统 精准广告推送系统 基本概念 1.有海量数据 . 2.有对海量数据进行挖掘的需求. 3.对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez、impala ...） 海量数据 存储、运算 =====分布式 存储、运算 ------已经有大量的框架 存储框架 ---> HDFS 分布式文件存储系统 （各种文件结构）hadoop 提供的存储框架 ---.........
Hadoop3.1.3配置日志聚集
zhongmingyu
03-01 182
6、执行wordcount,输出到/output2。在该文件里面增加如下配置。
大数据2_06_hadoop3.x配置历史服务器和日志聚集
qq_43523503的博客
10-10 607
6 配置历史服务器和日志聚集 配置历史服务器 步骤1：配置mapred-site.xml <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 历史服务器web端地址 --> <property>
HADOOP3和SPARK3集群搭建
qq_35549440的博客
05-06 427
hadoop3下载列表下载3.2版本 http://archive.apache.org/dist/hadoop/core/ hadoop3安装参考,两篇文章结合 http://dblab.xmu.edu.cn/blog/1177-2/ https://blog.csdn.net/weixin_43576022/article/details/105661627 spark3安装 http://dblab.xmu.edu.cn/blog/1714-2/ spark3 文件: slave更改为w
Hadoop3.2 +Spark3.0全分布式安装
piaoxi6587的博客
12-16 5143
Hadoop3.2 +Spark3.0全分布式安装 目前Apache官网已经推出了最新版的Haoop3.2和最新版的Spark3.0，比原来增加了很多新特性。Hadoop的安装主要是为Spark提供HDFS的支持和yarn的调度。那么我们将在本文介绍全分布式的Hadoop和Spark的安装方法，供大家参考。 安装系统：Ubuntu 16.04 主节点（Master）数量：1 从节点（Slave）数...
hadoop和spark开启日志
12-16 1002
# 开启日志 [root@bigdata04 neo4j-community-3.5.21]# cd /data/soft/spark-2.4.3-bin-hadoop2.7 [root@bigdata04 spark-2.4.3-bin-hadoop2.7]# sbin/start-history-server.sh [root@bigdata01 hadoop-3.2.0]# history | grep mapred 59 vi mapred-site.xml 63
查看spark任务日志
vah101的专栏
10-31 2290
登录resource manager所在服务器， 进入/var/log/hadoop-yarn/yarn tail rm-audit.log  读取日志，找到如下内容： 2018-10-31 07:11:27,148 INFO resourcemanager.RMAuditLogger: USER=admin    OPERATION=Application Finished - Succe...
hadoop3.x——配置及测试日志聚合
wake_up_42的博客
09-02 445
配置日志聚合，及对日志聚合进行测试。
日志
cloudmagpi的博客
09-08 1027
日志是什么： 日志主要的作用是记录程序运行的过程，通过日志方便观察程序的运行状况和运行过程，便于分析程序的执行过程，JDK自带一个日志，但是效果不太好，速度较慢，要写的代码较多 常见的日志工具 jdk-logging log4j ：其中commons-logging是规范，log4j是commons-logging的实现 要实现log4j首先需要导入两个依赖：log4j和commons-logging <dependency> <groupId>log4j</g
【Hadoop技术篇】YARN 作业执行流程
Chad_it的博客
10-08 1189
yarn的作业执行流程
​ yarn通过日志聚合将作业日志存储在HDFS中
libaowenBlog的博客
08-13 1321
背景：如图所示：为了从Tracking_UI中history界面中直接查看运行日志或是通过yarn logs查看日志命令，需要进行如下配置图1。
spark6. 如何设置spark 日志
最新发布
笔生花的博客
09-13 1459
本文只讲解再yarn 模式下的日志配置。
精通Hadoop管理：调优与保障Spark、YARN和HDFS安全
3. **管理与保护Hadoop数据及高可用性**：深入理解NameNode的角色和HDFS的工作原理，学习HDFS命令、权限和存储管理，实现数据保护，以及NameNode操作、高可用性和联邦配置。 4. **数据移动、资源分配、调度作业和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值