HDFS架构，常用特性

HDFS

HDFS架构、常用特性。

---

提示：

---

前言

HDFS(Hadoop Distributed File System)是一个分布式的文件系统。适合一次写入，多次读出的场景，且不支持文件的修改。具有高容错性，数据自动保存多个副本，某一个副本丢失后，还可以自动恢复。适合数据吞吐量高的程序使用。

---

一、1.NameNode DateNodes

HDFS是主从架构，整个集群由一个NameNode组成，在主节点上，管理文件系统命名空间，并处理客户端对文件的访问。DataNodes,在每一个节点上，每个DateNode管理其所在节点的存储。HDFS的文件系统命名空间允许将用户数据存储在这个文件中。在HDFS中，一个文件被切分成一个或多个块存储在一组DataNode里。NameNode操作文件系统命名空间，比如：打开，关闭，重命名文件和目录。还管理DataNodes中文件块的映射。DataNode还负责为来自文件系统客户端的读写请求提供服务。DataNode还负责执行来自NameNode的创建，删除，复制的指令。

1）NameNode:就是Master，他是一个主管，管理者
（1）管理HDFS的命名空间；
（2）配置副本策略
（3）管理数据块（block）映射信息；
（4）处理客户端读写请求
2）DataNode:就是Slave。NameNode下达命令，DataNode执行实际的操作。
（1）存储实际的数据块；
（2）执行数据块的读写操作；
3）Client:就是客户端。
（1）文件切分，文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传。
（2）与NameNode交互，获取文件的位置信息；
（3）与DataNode交互，读取或写入数据；
（4）Client提供一些命令来管理HDFS，比如NameNode的格式化；
（5）Client可以通过一些命令来访问HDFS，比如HDFS的增删改查操作；
4）Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。
（1）辅助NameNode,并分担其工作量，比如定期合并Fsimage和Edits,并推送给NameNode;
（2）在紧急情况下，可辅助恢复NameNode;

二、文件系统命名空间

HDFS使用的是传统的文件目录，用户或者程序可以在这个目录下创建目录或存储文件。文件系统命名空间的结构和大多数的文件系统类似：可以创建和删除文件，将一个文件从一个目录转移到另一个目录或者重命名这个文件。支持使用用户配额和访问权限，不支持硬链接或者软链接。
HDFS遵循文件系统命名约定，但是保留了一些路径和名称（例如 /.reserved 和 .snapshot），透明加密和快照等功能使用预留出来的路径。
NameNode维护文件系统命名空间。NameNode记录文件系统命名空间和其属性的任何更改。应用程序可以指定存储在HDFS上文件的副本数。

三、数据复制

HDFS中每个文件在物理上都作为块来存储，块大小和副本数都是可以配置（dfs.blocksiza）的。默认的块大小是128M.
块的大小不能设置太大或者太小，太小会增加寻址时间，太大的话，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块