yarn节点不存活:1/1 local-dirs are bad: /opt/module/hadoop-2.7.2/data/tmp/nm-local-dir; 1/1

最新推荐文章于 2022-04-08 14:34:16 发布
最新推荐文章于 2022-04-08 14:34:16 发布
阅读量1.1k 收藏 2
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zx_666888/article/details/104763309
版权
当遇到YARN集群中只有两个节点活跃时，通常是由于磁盘空间不足所致。通过执行`df -h`检查磁盘占用，并使用`du -s -h`命令深入分析根目录及子目录的空间占用，特别是日志文件。清理无用日志文件以释放空间，若集群处于安全模式，需先关闭再启动YARN服务。
摘要由CSDN通过智能技术生成

问题:yarn的三个节点只活跃两个 

主要原因是因为磁盘不足:需要清理磁盘空间

通过df -h 命令查看磁盘占用情况

再深入查找

想这样根目录占用比较多,再输入du -s -h /*查找根目录下的使用情况

 

du -s -h /opt/* 

du -s -h /opt/module/* 

最低0.47元/天 解锁文章
cmj_971218
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
记一次生产环境cdh6.3.2集群yarn组件nodemanager节点down掉的事故分析
nhm_lxy的专栏
10-08 399
cdh6.3.2集群yarn组件的nodemanager不可用原因分析
Hadoop YARN ERROR 1/1 local-dirs are bad *， 1/1 log-dirs are bad *
辉子的博客
07-16 1万+
查看 nodemanager 日志发下 如下信息 2015-07-16 15:28:58,643 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/beh/data/yarn/nmlocal error, used space above thresho
Hadoop YARN: 1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are
小海的专栏
02-07 4499
Hadoop YARN: 1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers hdfs硬盘90% yarn unhealthy 1/1 local-dirs ar
Hadoop YARN: 1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are ...
weixin_30532837的博客
09-28 243
1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers Node Manager logs 1 2 3 ...
Hadoop YARN ERROR 1/1 local-dirs are bad *， 1/1 log-dirs are bad *
lm709409753的专栏
12-26 343
nodemanager log内容yarn web日志修改删除数据目录下不需要的内容，系统可用 参考博客： http://blog.csdn.net/duyuanhai/article/details/54908382
jiaminghi/data-view dataV for vite vue2 补丁 for npm/yarn
04-13
官网直接安装的不支持vite2/3+vue2的 主要修复： 1.build或者dev项目时不报错，兼容vite2/vite3，vue2； 2.加入deep监听watch，直接在父组件中修改图表中的config参数即可完成图表中的数据变更。 yarn npm cnpm ...
手动解决Cannot find module '@sentry/webpack-plugin'等问题
10-06
解决Cannot find module '@sentry/webpack-plugin'，Cannot find module '@sentry/browser'，Cannot find module '@sentry/cli'等问题。<br/> 下载后，解压后文件夹，放在vue项目的node_modules文件夹下，即可。
nft-gallery：https：//github.comvue-polkadotapps上的原始存储库
02-08
-Extrinsics页面是一个环境，用户可以在其中执行所选节点上的每个可用事务。 -转移功能是外部性的抽象，用于转移网络的各种资产。 -它在vuex中提供vue设置和vue-api的无缝集成，允许选择语言，要连接的节点和主题...
jiaminghi/data-view dataV for vite2 vue3 windows补丁 for npm/yarn
03-20
官网直接安装的不支持vite2+vue3的 主要修复： 1.build或者dev项目时不报错，兼容vite2，vue3； 2.加入deep监听watch，直接在父组件中修改图表中的config参数即可完成图表中的数据变更。 yarn npm cnpm pnpm可通用...
重新编译好的contain-executor文件，指向/etc/hadoop/container-executor.cfg
01-28
hadoop自带的Container-executor在配置yarn-kerberos时存在问题，以及在配置cgroup时需要把container-executor.cfg的上级目录拥有者均改为root，带来不便。 所以需要重新编译Container-executor，这边提供重新编译好...
yarn ——集群节点丢失，重启后也连不上可用节点
龍承leo
04-08 2965
解决步骤： 查看页面发现可用资源全显示0，下面图片是解决后的。 解决步骤，查了很多网上资料，有说关闭yarn.nodemanager.vmem-check-enabled 关闭线程检查内存。试过之后不好使。 后来去监控hadoop的log日志 tailf hadoop-root-nodemanager-craw-node212.log tailf hadoop-root-resourcemanager-craw-node212.log 发现hadoop-root-nodemanager.
yarn集群出现 unhealthy节点，local-dirs are bad: 解决办法
liuyanzheng的博客
05-07 2634
启动集群之后，没有资源，报错如下： 问题原因：yarn集群本地目录所在磁盘占用率超过了 的阈值 yarn集群默认允许本地磁盘占用率是 90%（值不确定了，可能是92%，我这里查看的时候是到了92%，节点不能用了） 解决办法：1、修改阈值到98%，非常不建议，指标不治本 2、清理磁盘。 df -hl 查看所有磁盘使用率--> du -h --max-depth=1 查看当前目录下最大的文...
Hadoop YARN最近几个新特性
weixin_33835103的博客
05-12 172
2019独角兽企业重金招聘Python工程师标准>>> ...
遇到问题---hadoop----local-dirs are bad
直到世界的尽头
03-03 4223
遇到的问题 我们的hadoop集群在运作过程中部分节点报错local-dirs are bad 原因 hadoop集群硬盘目录默认的使用阈值是90% 空间不足，目录使用率超过阈值了90%了 解决方式 调整yarn的参数 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage ...
hadoop Unhealthy Nodes问题解决
热门推荐
lazythinker的专栏
08-21 1万+
1、问题来源 前几天因为一个hive SQL的问题，导致其中一台机器的磁盘空间不足，删除临时文件解决了空间不足的问题； 查看http://hadoop/cluster/nodes/unhealthy 发现出现了一个unhealty节点，错误信息如下 1/1 local-dirs turned bad: /usr/local/goldmine/hadoop/tmp/nm-local-dir;1
yarn设置缓存，清除缓存
AdleyTales的技术博客
10-09 1万+
查看yarn全局缓存目录 yarn cache dir 清除缓存 yarn cache clean 设置缓存目录 yarn config set cache-folder <path> # example yarn config set cache-folder
/opt/module/hadoop-2.7.2/bin/yarn jar
最新发布
04-27
/opt/module/hadoop-2.7.2/bin/yarn jar是一个在Hadoop中常用的命令。其中，/opt/module/hadoop-2.7.2/bin是Hadoop安装目录下的可执行文件路径，yarn是一个用于管理Hadoop集群资源的框架，jar是指在Hadoop集群中运行的Java程序包，通常是由开发者编写的基于Hadoop API的MapReduce作业程序。使用这个命令可以将程序包提交到Hadoop集群中执行，并通过YARN框架管理分配执行资源的过程，以实现更高效的计算和存储处理任务。这个命令的具体参数和使用方法可以通过运行/opt/module/hadoop-2.7.2/bin/yarn jar -h来查看。总之，/opt/module/hadoop-2.7.2/bin/yarn jar是Hadoop中非常重要的一个命令，对于处理大规模数据集的分析和计算具有至关重要的作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值