HDFS的recoverLease和recoverBlock的过程分析

最新推荐文章于 2022-12-14 17:17:45 发布

伍涛

最新推荐文章于 2022-12-14 17:17:45 发布

阅读量5.8k

点赞数

分类专栏： HDFS recoverBlock recoverLease LeaseManager 文章标签： cmd path file

本文链接：https://blog.csdn.net/zhaokunwu/article/details/7384992

版权

本文详细分析了HDFS中recoverLease和recoverBlock的过程。recoverLease涉及文件关闭和租约释放，通过FSNamesystem.recoverLeaseInternal实现，内部调用internalReleaseLeaseOne执行recoverBlock。而recoverBlock在Namenode和DFSClient中发起，用于处理数据节点错误和文件一致性。Namenode通过心跳响应触发datanode执行，DFSClient在异常时调用，确保数据恢复而不关闭文件。

摘要由CSDN通过智能技术生成

最近需要搞一下Lease，分析一下recoverLease的过程，顺带把recoverBlock的过程分析一下。

一、 recoverLease

recoverLease是恢复租约，我理解为释放文件之前的租约，close文件，报告namenode。

recoverLease有两条路径去调用

1. DistributedFileSystem.create -> DFSClient.create -> Namenode.create -> FSNamesystem.startFile -> FSNamesystem.startFileInternal -> recoverLeaseInternal(myFile, src, holder, clientMachine, false)

这条路径是在客户端文件create时调用的，此时它不需要close文件。

2. DistributedFileSystem.recoverLease -> DFSClient.recoverLease -> Namenode.recoverLease(src,clientname) -> FSNamesystem.recoverLease(src,holder,clientMachine) -> recoverLeaseInternal(inode, src, holder, clientMachine, true)

这条路径是在客户端显式调用一个path的recoverLease，此时它需要close文件。[HDFS-1554]

以上两个路径，最终会调用FSNamesystem.recoverLeaseInternal，下面我们着重看一下recoverLeaseInternal，它主要做以下事情：

1. 获得pendingfile，获得当前hold