HDFS-001-了解

hadoop的思想就是把一个文件划分为N个block，然后把block散列到不同机器上。

因此block块的大小设定就非常重要了

大数据运算的结论：

1.分治思想

2.并行计算

3.计算向数据移动（减少传输IO消耗的时间  数据移动比分布式计算更耗时）

4.数据本地化读取

这四个条件将是整个大数据技术需要关心的重点

1. 什么是HDFS？

HDFS（ Hadoop Distributed File System）是一个分布式文件系统

1. 什么是分布式文件系统呢？

简单说就是一个文件用N个block存储，单机情况就是一个文件存储在一台计算，而分布式文件系统就是把这N个block存储到不同的机器上

1. 市上有很多分布式文件系统，为什么Hadoop还要自己开发HDFS?

1. HDFS具有高度的容错性，可部署在低成本硬件上。非常适合高吞吐量、大型数据集的应用程序
2. HDFS放宽了POSIX的一些要求，以支持对文件系统数据的流式访问
3. 通常最好将计算迁移到数据所在的位置，而不是将数据移动到应用程序运行的位置

1. 容错

故障检测和快速、自动地从中恢复是HDFS的核心架构目标

1. 存储模型

1. 文件线性按字节切割成块(block)，具有offset，id
2. 文件与文件的block大小可以不一样，一个文件=N个block
3. 一个文件除最后一个block，其他block大小一致
4. block的大小依据硬件的I/O特性调整（属于操作系统基本的优化）
5. block被分散存放在集群的节点中，具有location
6. Block具有副本(replication)，没有主从概念，副本不建议在同一个节点
7. 副本是满足可靠性和性能的关键
8. 文件上传可指定block大小和副本数，上传后只能修改副本数
9. 一次写入多次读取，不支持修改，但可以追加和截断
10. 支持追加数据

1. 架构设计

1. HDFS是一个主从(Master/Slaves)架构
2. 由一个NameNode和N个DataNode组成
3. 面向文件包含:文件数据(data)和文件元数据(metadata)
4. NameNode负责存储和管理文件元数据，并维护了一个层次型的文件目录树
5. DataNode负责存储文件数据(block块)，并提供block的读写
6. DataNode与NameNode维持心跳，并汇报自己持有的block信息
7. Client和NameNode交互文件元数据和DataNode交互文件block数据

1. 数据复制

1. 在任何时候都只有一个writer。
2. NameNode做出关于块复制的所有决定。它周期性地从集群中的每个数据节点接收心跳和Blockreport。接收到心跳信号意味着数据节点工作正常。Blockreport包含数据节点上所有块的列表。
3. NameNode角色功

 

                1. 基于内存存储文件、目录结构，文件block的映射

                2．需要持久化方案保证数据的可靠性

                3. 提供副本放置策略

1. DataNode角色功能
   1. 基于本地磁盘存储block(文件的形式)
   2. 保存block的校验和数据保证block的可靠性
   3. 与NameNode保持心跳，汇报block列表状态

1. 元数据持久化

1. 任何对文件系统元数据产生修改的操作，NameNode都会生成一个EditLog的事务进行记录下来
2. 使用FsImage存储所有元数据的状态
3. 使用本地磁盘保存EditLog和FsImage
4. EditLog具有完整性，数据丢失少，但恢复速度慢，并且膨胀风险（日志文件太大）
5. FsImage具有恢复速度快，提及与内存数据相当，但不能实时保存，数据丢失多
6. NameNode使用了FsImage+EditLog整合方案：

　滚动将增量的EditLog更新到FsImage，以保证更近时点的FsImage和更小的EditLog体积

Ps

1. EditsLog:恢复日志,可用于恢复数据
2. FsImage:镜像，可用于快照恢复数据
3. HDFS采用FsImage+增量的EditLog进行记录避免数据丢失

 

1. 安全模式

1. HDFS搭建时会格式化，格式化操作会产生一个空的FsImage
2. 当NameNode启动时，它从磁盘中读取EditLog和FsImage
3. 将所有EditLog中的事务作用在内存中的FsImage上
4. 并且将新版本的FsImage从内存中保存在磁盘上
5. 删除旧的EditLog，因为这个旧的EditLog的事务已经作用在了FsImage上了
6. NameNode启动后会进行一个称为安全模式的特殊状态
7. 处于安全模式的NameNode是不会进行数据块的复制的
8. NameNode从所有的DataNode接收心跳信号和状态报告
9. 每当NameNode检测确认某个数据块的副本数目达到这个最小值，那么该数据库会被认为是副本安全(safely replicated)的
10. 在一定百分比的数据被NameNode检测确认是安全之后，NameNode将会退出安全模式状态
11. 接下来它会确定还有哪些数据库的副本没有达到指定数目，并将数据块复制到DataNode上

1. HDFS中的SNN即SecondaryNameNode(SNN)—真实企业不采用此方案

1. 在非Ha模式下，SNN一般是独立的节点，周期完成对NN的EditLog向FsImage合并，减少EditLog大小，减少NN启动时间
2. 根据配置文件设置的时间间隔fs.checkpoint.period默认3600秒
3. 根据配置文件设置edits log大小fs.checkpoint.size规定edits文件的最大值默认是64MB

 

版本1.x无Ha模式，2.x开始有Ha模式，Ha模式下2个NameNode，NameNode的个数与版本没有任何关系。

1. 常用服务器种类和选型

1. 塔式服务器（Tower servers ）

一般用于研发的测试环境

1. 机架服务器（Rack server ）

中小企和研发测试环境

1. 刀片服务器（blade Server）

关于服务器选择，PC一般选择塔式服务器。机架服务器一般用于公司，公司中使用多台机架服务器进行叠加，使用交换机来进行交换讯息。刀片服务器最贵，用于大型企业或者特殊服务

1. 副本放置策略（NameNode）

1. 第一个副本：放置在上传文件的DN（不然还要做数据移动，浪费时间）；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点
2. 第二个副本：放在于第一个副本不同的机架的节点
3. 第三个副本：与第二个副本相同机架的节点
4. 更多副本：随机节点

为什么？

因为可能只有2个副本，这样对吧原先第1、2副本放在一台上，这样此台机器挂了就彻底挂了。

1. HDFS的读写流程(使用副本策略)

 HDFS的写流程

• Client和NN连接创建文件元数据
• NN判定元数据是否有效
• NN触发副本放置策略，返回一个有序的DN列表
• Client和DN简历Pipeline连接
• Client将块分成packet（64KB），并使用chunk（512B）+ chucksum(4B)填充
• Client将packet发送队列dataqueue中，并向第一个DN发送
• 第一个DN收到packet后本地保存发送给第二个DN
• 第二个DN收到packet后本地保存并发给第三个DN
• 这个过程中，上游节点同时发送下一个packet
• 类似工厂流水线，结论：流式其实也是变种的并行计算
• HDFS使用这种传输方式，副本数对于Client是透明的
• 当block传输完成，DN分别向各自的NN汇报（此图没有体现出来），同时Client继续传输下一个blcok
• 所以client传输和block汇报也是并行的

HDFS读流程

 

• 为了降低整体的带宽消耗和读延迟，HDFS会尽量让读取程序读取离他最近的副本（本机à本机架à其他最近的）
• 如果再读取程序的同一个机架上有一个副本，那么就读该副本
• 如果一个HDFS集群跨越多个数据中心，那么客户端也将首先读本地数据中心的副本
• 语义：下载一个文件
  1. Client和NN交互文件元数据获取所有的fileBlockLocation
  2. NN按距离策略排序返回
  3. Client尝试下载Block并且校验数据完整性（校验盒校验）
• 语义：下载一个文件其实是获取文件的所有的Block元数据，那么子集获取block应该成立
  1. Hdfs支持Client输出文件的offset自定义连接哪些Block的DN，自定义获取数据
  2. 这个是支持计算层的分治，并行计算的核心（牢记）