![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop Operation
文章平均质量分 66
Andy-Hadoop
Apache Hadoop geeker。毕业于华北理工计算机系,研究领域分布式计算,大数据,数据挖掘,机器学习,算法。曾就职于58架构部,目前就职于主要进行大数据分析应用的Ptmind创业公司
展开
-
检查HDFS的健康状态
首先需要明确的问题是:HDFS健康的标准是什么样的呢? 如果所有的文件满足最小副本的要求,那么就认为文件系统是健康的。 (HDFS is considered healthy if—and only if—all files have a minimum number of replicas available) 如何检查HDFS的健康情况呢? hadoop提供了fsck tool来对整个文原创 2017-02-18 11:13:29 · 5500 阅读 · 0 评论 -
HDFS的坏盘相关的处理
一、坏盘的识别 hdfs不会直接和磁盘进行打交道的,它是通过 识别dfs.datanode.data.dir(dfs.data.dir)和yarn.nodemanager.local-dirs(mapred.local.dir)两个属性所指定的目录的可用性来间接识别磁盘的可用性的,一般情况下一个目录会单独对应着一个磁盘。Hdfs认为目录或者磁盘是有效的标准为: 1. The specified原创 2017-02-19 08:59:38 · 4557 阅读 · 0 评论 -
hdfs中snapshot的解释
一、snapshot的定义: snapshot是hdfs的整个文件系统,或者某个目录在某个时刻的镜像。该镜像并不会随着源目录的改变而进行动态的更新。 二、使用snapshot可以解决的问题 (1)防止用户的误操作 管理员可以通过滚动的方式来对重要的目录进行创建snapshot的操作,这样在系统中就存在针对某个目录的多个快照版本。当用户误删除掉某个文件时,可以通过最新的snapshot来进行相原创 2017-02-19 11:17:21 · 3055 阅读 · 1 评论 -
磁盘坏道引起的hbase查询错误
1、现象说明 早上,客户反映某些日期的历史数据查询不出来(我们系统将历史的汇总数据是保存到Hbase中),从查询端的日志看查询失败(查询端是erlang写的分布式查询引擎)。erlang是通过HBase提供的thrift 服务接口来查询hbase的,所以进一步去查看thrift server的日志信息,发现如下的错误: 备注:并不是所有的查询都失败,只有某些站点的某些日期的数据查询失败。2、问题原创 2017-03-09 14:16:54 · 2623 阅读 · 0 评论