hadoop运营管理岩机,坏块,负载均衡

19 篇文章 0 订阅



我们在企业中很容易遇到以下问题:岩机(重启无效),坏块,负载均衡。岩机,其实很简单,我们把那个进程杀死就是了。坏块怎么办,hadoop修复坏块的能力很慢,我们要等他自己修复吗???NO!!!hadoop fsck / -delete ,这个命令删除坏块。负载均衡呢,其实很多人说,可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。


1、Namenode岩机处理:重启集群无法恢复的情况下

Hadoop  job  -kill  job_201305091253_31926


2、坏Block解决方式

Namenode日志:The reported blocks 211655 needs additional 4687 blocks to reach the threshold 0.9990 of total blocks 216559.
Safe mode will be turned off automatically.


状态始终在safe  mode模式
hadoop fsck / -delete 删除坏块

3、单机存储均衡解决办法

可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值