HDFS架构-元数据分析

五.HDFS架构

       

 

• 大多数分布式大数据框架都是主从架构

• HDFS也是主从架构Master|Slave或称为管理节点|工作节点

  • 主叫NameNode，中文称“名称节点”

  • 从叫DataNode，中文称“数据节点”

5.1 NameNode

5.1.1 文件系统

• file system文件系统：操作系统中负责管理文件、存储文件信息的软件

  • 具体地说，它负责为用户创建文件，存入、读取、修改、转储、删除文件等

• 读文件 =>>找到文件 =>> 在哪 + 叫啥？

• 元数据

  • 关于文件或目录的描述信息，如文件所在路径、文件名称、文件类型等等，这些信息称为文件的元数据metadata

  • 注意：元数据的概念在其他的大数据框架中也屡有提及

• 命名空间

  • 文件系统中，为了便于管理存储介质上的内容，给每个目录、目录中的文件、子目录都起了名字，这样形成的层级结构，称之为命名空间

  • 同一个目录中，不能有同名的文件或目录

  • 用处：这样通过目录+文件名称的方式能够唯一的定位一个文件

  • 

 

5.1.2 HDFS-NameNode

• HDFS本质上也是文件系统filesystem，所以它也有元数据metadata；

• HDFS元数据metadata保存在NameNode内存中

• NameNode作用

  • HDFS的主节点

  • 负责管理文件系统的命名空间，将HDFS的元数据存储在NameNode节点的内存中

  • 负责响应客户端对文件的读写请求

• HDFS元数据

  • 文件目录树、所有的文件（目录）名称、文件属性（生成时间、副本、权限）、每个文件的块列表、每个block块所在的datanode列表

    • 

 

• 每个文件、目录、block占用大概150Byte字节的元数据；所以HDFS适合存储大文件，不适合存储小文件

• HDFS元数据信息以两种形式保存：①编辑日志