HDFS数据块损坏是如何处理的?
数据块损坏恢复流程
在namenode中对于进行数据块副本的管理都是在FSnameSystem中,其中有一个成员变量 corruptReplicats
,其中就存储着损坏数据与DataNode的映射,当某个数据块损坏后(DataNode可以通过数据块扫描器获知,通过心跳发送给namenode),namenode会将损坏的数据块加到corrupReplicats中,当损坏的数据块在DataNode上删除后会在corrutpReplicatS中也删除。
当部分副本出现损坏时,namenode进行数据块复制时,有一个数据结构叫做underReplicatedBlocks对象,其中就有list保存需要进行数据块复制的数据块,对于数据块复制是有优先级的,underReplicatedBlocks的getPriority()会返回数据块的优先级,等待复制的对象从underReplicatsBlocks中读取出来之后会生成复制请求,并将请求放入FSnameSystem.pendingReplications中。pendlingReplication是一个数据块到数据块复制信息pendingBlockInfo的映射,pendlingReplication保存了数据块复制的时间和复制副本数,如果复制没成功会被重新插入到underReplicatedBlocks对象中,重新产生复制请求。
数据块损坏自动恢复相关参数
hdfs当然会自动修复损坏的数据块,当数据块损坏后,DN节点执⾏directoryscan之前,都不会发现损坏,也就是directoryscan操作校验是默认间隔6h
dfs.datanode.directoryscan.interval : 21600
在DN向NN进⾏blockreport前,都不会恢复数据块;也就是blockreport操作是间隔6h
dfs.blockreport.intervalMsec : 21600000
数据块损坏手动恢复方式:
hdfs fsck / #先检查哪些数据块丢失了
hdfs debug recoverLease -path 文件位置 -retries 重试次数 # 修复指定路径的hdfs文件,可以尝试多次