Hadoop源码分析 HDFS ClientProtocol——addBlock

本文详细分析了Hadoop中HDFS客户端如何通过addBlock方法分配新的Block并选择备份存储的DataNode。首先,该方法会检查内存中的INode和Block数量,确认客户端的文件写锁,并确保文件的倒数第二个Block已完全复制。接着,选择新的DataNode存储新Block,并将其添加到BlockMap和INodeFile中。同时,文章提到了在DataNode报告Block时与BlockMap的关系,以及可能涉及的安全模式和租约检查。
摘要由CSDN通过智能技术生成

addBlock()负责分配一个新的block以及该block备份存储的datanodeaddBlock函数声明如下:

public LocatedBlock addBlock(String src, String clientName,DatanodeInfo[] excludedNodes) 

其中src代表需要写入新block的文件;clientName代表写入该blockclientexcludedNodes代表该block不能存储的datanode

首先让我们思考一下addBlock应该如何实现。首先,我们需要修改src文件的INodeFile以便将新增block添加到INodeFile当中。因为INodeFile保存了最后一个Block存放的datanode,因此需要为新增的block分配datanode。下面我们看一下addBlock具体是怎么实现的。

NameNode中,addBlock是通过FSNamesystem.getAdditionalBlock

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值