HDFS的体系结构

HDFS的体系结构

-------------------------

1.namenode[守护进程]作用：

管理文件系统名称空间；【fsimage元数据镜像文件】

管理客户端对文件的访问。【edits操作文件】

NameNode执行文件系统命名空间操作，如打开，关闭和重命名文件和目录【edits操作文件】

确定block到DataNode的映射（注意：心跳机制:status和blockreport；默认3秒一次）

2.datanode[守护进程]：

用于管理连接到它们所运行的节点的存储。【block信息：block和block.mate】

负责提供来自文件系统客户端的读取和写入请求

还执行块创建，删除；

3.block：文件被分成一个或多个块，这些块存储在一组DataNode中（默认3份）

 

元数据

-------------------------

1.查看fsimage文件

$>hdfs oiv -i fsimage_0000000000000000022 -o ~/fs22.xml -p XML

【

<?xml version="1.0"?>

<fsimage>

<NameSection>

<genstampV1>1000</genstampV1>

<genstampV2>1002</genstampV2>

<genstampV1Limit>0</genstampV1Limit>

<!-- 描述当前镜像的最后一个块ID -->

<lastAllocatedBlockId>1073741826</lastAllocatedBlockId>

<!-- 事务ID-对应的是fsimage_0000000000000000022 -->

<txid>22</txid>

</NameSection>

<INodeSection>

<lastInodeId>16390</lastInodeId>

<!-- inode节点描述HDFS文件系统所有信息

我们保留文件/块层次结构的内存中表示。这是一个基本的INode类，它包含文件和文件的公共字段目录inode。

-->

<inode>

<id>16385</id>

<type>DIRECTORY</type>

<name></name>

<mtime>1528043810446<