YARN nodemanager节点unhealthy报告reached unrecoverable

于 2023-07-04 15:35:17 发布
阅读量269 收藏
点赞数
分类专栏： 线上问题 文章标签： 大数据 yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zincooo/article/details/131441189
版权

文章目录

节点unhealthy状态

报告信息显示 Linux Container Executor reached unrecoverable exception
在这里插入图片描述

查看nodemanager日志

查看日志是launch container时候报错的
Failed to launch container due to configuration error
在这里插入图片描述

原因

ContainerLaunch如果在launchContainer或者relaunchContainer时抛出了ConfigurationException 就将nodemanager标记为不健康节点
在这里插入图片描述
https://issues.apache.org/jira/browse/YARN-8751
这里恢复的话可以尝试重启nodemanager服务。
也可以检查下nodemanager的目录权限是否有问题。

zincooo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop yarn nodemanager无法启动的解决方案
赴前尘
11-09 7329
1.子节点：jps 发现没有nodemanager 2.主节点修改 yarn-site.xml 在最后添加： <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value>...
解决Yarn页面的Unhealthy Nodes问题
宝罗Paul 的博客
07-31 4714
查看到yarn监控页面上有十几个Unhealthy 节点，分别进去Unhealthy Nodes查看个目录的占用磁盘情况，发现是HDFS的有关目录占用过多了。 (1) tmp_users=`hdfs dfs -ls /tmp/ | awk '{print $8}' | cut -d&amp;amp;amp;amp;amp;amp;amp;amp;quot;/&amp;amp;amp;amp;amp;amp;amp;amp;quot; -f3 | xargs ` [root@w
Yarn节点unhealthy解决办法
大黄的博客
02-19 1825
有的节点可能会出现unhealthy状态，这种情况一般是因为那个节点上HDFS文件过多，导致剩余磁盘空间不足，一般解决方法是。超过该值该节点就会被列入不健康列表，并且不再使用该盘符参与计算任务。默认值为90%，将该值增大即可解决问题，可以更改至99.99%。一般用下面命令查看Yarn上的nodemanager节点状态。之后重启HDFS还有YARN即可，再次使用。可以看到所有节点可以都变为正常状态。该参数表示每块盘符的最高使用比例，删除HDFS上不常用的文件。
Hadoop3.2.1 【 YARN 】源码分析 : LinuxContainerExecutor 浅析 [ 二 ]
张伯毅的专栏
07-04 1199
111
linux container框架,理解和配置LinuxContainerExecutor
weixin_30581253的博客
05-16 1200
最近在研究如何为Hadoop开启基于Kerberos的安全配置，经过千辛万苦配置好后本以为到了见证奇迹的时刻，但是卡在NodeManger无法启动，折磨的死去活来。经历了各种百度、google后依然无果，最终还是乖乖的回来细读Hadoop官方配置文档，竟然发现关于LinuxContainerExecutor配置的非常详细的讲解。为了不让学习的成果随记忆消散，因此在这儿总结并分享出来。理解Conta...
Hadoop Yarn Linux Container Executor配置
lsr40的博客
03-15 8969
本文的内容是东拼西凑出来的，写给自己看的，还有调试的时候的一些报错的解决方式，本人菜鸡一只，如果有说错的地方，还望批评指出！概述：Yarn支持两种不同容器实现方式，一种是yarn容器，一种是Linux容器，据说还有一种Docker容器（但是Docker其实带不太动CM，不过apache还是没问题的），Linux容器较比Yarn容器具有更好的扩展性和隔离性。本文将讲述Linux容器的配置。偶然有机会...
Nodemanager Unhealthy（exit code :143/35）
magicchu的博客
09-06 849
exit code:35 导致NM不可用
集群中部分nodemanager节点无法启动问题原因
08-28 3781
集群启用kerberos+ssl后发现部分NM启动不起来, CM启动日志提示： ++ printf '! -name %s ' cloudera-config.sh hue.sh impala.sh sqoop.sh supervisor.conf config.zip proc.json '*.log' yarn.keytab '*jceks' + find /run/cloudera-scm-...
yarn的一个nodemanager在ambari上触发了告警nodemanager returned an unexpected status of “False“
jingyi1219的博客
04-02 518
问题描述： yarn的一个nodemanager再ambari上触发了告警nodemanager returned an unexpected status of "False"，如下图所示，但是后台进程正常 打开yarn页面观察nodemanger状态，node state显示UNHEALTHY, Health-report显示local-dirs are bad 原因分析： 故障的nodemanger local-dirs所在数据盘容量超过90%导致，因为在yarn-site.xml有如..
Hadoop源码-2.6.4 Yarn NodeManager Container内存资源设置及监控
weixin_42265234的博客
01-31 317
启动 执行Container启动的组件 NodeManager ContainerManagerImpl public StartContainersResponse startContainers(StartContainersRequest requests) private void startContainerInternal Container(ContainerImpl) Application(ApplicationImpl) ContainersLauncher publ
yarn 3.2源码分析之NM端launchContainer事件流程
lzf的博客
04-19 2268
概述 NM端launch container会经历的event：LaunchContainer类型的ContainersLaunchEvent yarn application会因为container分配失败而导致application failed，以下日志可以大概得知launch container的流程 Application application_1555482591931_0...
NodeManager异常宕掉--GC overhead limit exceeded
骑猪喝咖啡
05-15 5190
org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch: Failed to launch container. java.lang.OutOfMemoryError: GC overhead limit exceeded
浅谈Linux cgroup机制与YARN的CPU资源隔离
LittleMagic's Blog
02-25 1258
前言 在之前的这篇文章中，笔者已经讲解过了YARN是如何实现内存资源隔离的。但是只隔离内存还不够，我们在生产环境中经常可以发现有计算密集型任务争用NodeManager的CPU，以及个别Container消耗太多CPU资源导致其他系统服务抖动的情况。好在Hadoop 2.2版本之后，YARN通过利用Linux系统的cgroup机制支持了CPU资源隔离。本文先简单看看cgroup，然...
[YARN] 一个JDK的bug导致RM无法分配Container
张伟的专栏
09-19 4276
[YARN] 一个JDK的bug导致RM无法分配Container 一月 20, 2017 0 条评论 最近集群因为NM的OOM，然后决定把ContainerMetric给关闭了，然后采取了批量重启NM的方式，采取的步骤是先批量下线，然后在上线，后来发现集群任务越来越慢，集群的利用率越来越低 以下是集群可用内存，一直在增加 其中出现的现象是： 1.事件队列队列堆积非常严重，最高500W+...
nodemanager无法启动--Linux container executor not configured properly (error=24)
奔跑吧兄弟！
12-11 6729
nodemanager无法启动--Linux container executor not configured properly (error=24) 2014-12-10 09:10:07,204 WARN org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor: Exit code from container executor initialization is : 24 ExitCodeException exitCode=
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3165
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
DefaultContainerExecutor: Exception code 1
03-20 320
当环境搭建完成，运行hive的时候，hive命令行无法执行mapreduce,然后我就去看日志，发现hadoop的namenode的log, 如下： org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception code 1............ 解决方式： 在mapred-site....
K8S： Back-off restarting failed container 解决办法
热门推荐
云时代-IT运维
07-06 1万+
遇到的问题 [root@node-16 software]# kubectl describe pods cephfs-deployment001-5c46c88595-zfgx2 ------------------------------------------------------------------------------------------------------------------ ---- ------ ---- -...
Hadoop 3.2.1 【 YARN 】源码分析 : DefaultContainerExecutor 浅析
张伯毅的专栏
02-02 1044
一 .前言 DefaultContainerExecuter 类提供通用的container 执行服务. 负责启动Container . 是默认实现， 未提供任何权安全措施， 它以NodeManager启动者的身份启动和停止Container； 流程执行是以独立于平台的方式通过 . 其实主要是执行launch_container.sh 脚本. 主要注意的是两个地方: 其实就是构造并执行launch_container.sh 脚本. 在脚本里有需要执行的任务. launch_container.sh 脚本
ERROR: Attempting to operate on yarn nodemanager as root ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.
最新发布
09-16
这个错误是由于缺少YARN_NODEMANAGER_USER的定义而引起的。YARN_NODEMANAGER_USER是用来指定YARN NodeManager的用户。在启动脚本中，尝试以root用户身份操作YARN NodeManager，但没有定义YARN_NODEMANAGER_USER，所以操作被中止了。为了解决这个问题，你需要编辑启动脚本，并为YARN_NODEMANAGER_USER定义一个有效的用户。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值