Hadoop3和Spark3配置日志聚合,客户端电脑实现YARN页面跳转查看Hadoop和Spark历史任务日志
Hadoop3和Spark3配置日志聚合的作用:将日志文件聚合到一起,通过web界面方便查看,并可以设置日志保存时间,节省空间,存储在HDFS上比较容易读取。
一、Hadoop、Spark日志聚合页面和YARN任务页面介绍
Hadoop日志聚合页面:
Spark日志聚合页面:
在能查看Hadoop、Spark日志聚合页面的基础上,目标实现通过YARN页面跳转查看Hadoop、Spark历史任务日志,即点击YARN页面的History链接会自动跳转到任务日志页面。
点击YARN页面的Hi