Hadoop源码分析HDFS ClientProtocol——getBlockLocations

Class ClientProtocolHDFS客户端与NameNode之间的接口。Client通过调用ClientProtocol的方法完成与NameNode之间的交互。本文分析方法getBlockLocations。该方法的方法声明如下:

public LocatedBlocks getBlockLocations(String src,long offset, long length)throws IOException

该方法用于获取一个给定文件的偏移和数据长度的所有数据库块(block)的数据节点(datanode)。该方法的参数如下:

src:文件的名称

offset:文件的开始位置,文件开始的偏移

length:需要获取文件数据的长度

该方法返回LocatedBlocksLocatedBlocks包含文件长度、数据块blocks、数据块blockdatanode等信息。注意,每一个block的所有datanode按照其距离client的距离进行排序。

下面我们看一下具体是怎么获得文件给定范围内数据的数据块和数据块所在的datanode的。首先,HDFS在内存中包含了整个文件系统的一个映像,包括INodeFile(对应于硬盘上的文件)、INodeDirectory(对应于硬盘上的文件夹)等。可以阅读文件FSNamesystem中有几个非常重要的变量》

为了获取文件的数据块,我们首先需要从文件系统中命名空间中获取代表该文件

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值