Hadoop_HDFS架构

1. 架构整体概述

1.1 概述

1.2 架构图

1.3 角色

1.3.1 NameNode

 1.3.2 DataNode

1.3.3 SecondaryNameNode

1.4 重要特征

1.4.1 主从架构

1.4.2 分块存储

1.4.3 副本机制

1.4.4 NameSpace

1.4.5 元数据管理

1.4.6 数据块存储

2. Web Interfaces

2.1 Overview   

2.2 DataNodes

2.3 Utilities

3. HDFS 读写流程

3.1 核心概念

3.2 写数据流程

 3.3 读数据流程

3.4 NN，DN总结

4. 元数据处理

4.1 概述

4.2 元数据分类

4.3 元数据相关目录

4.3.1 引言

 4.3.2 Version

 

4.3.3 seen_txid

4.3.4 fsimage

4.3.5 edits log

4.3.4 SNN职责

4.3.5 SNN --Checkpoint

4.4 元数据恢复

5. 小文件存储

5.1 Hadoop Archive

 

5.1.1 创建Archive

5.1.2 查看Archive

5.1.3 提取Archive

5.1.4 Archive 注意事项

创建Archive后，需要手动删除源文件

5.2 Sequence File 序列文件

5.2.1 Sequence File格式

5.3 Sequence 文件读写

5.4 Sequence File 合并小文件

6. HDFS数据安全和隐私保护

6.1 Trash 垃圾桶

6.2 Trash Checkpoint

6.3 Trash 开启

6.4 使用Trash 

7. Snapshot 快照

7.1 快照介绍和作用

7.2 快照功能实现

7.3 快照相关命令

7.4快照使用

8.HDFS权限管理

8.1 权限管理概述

8.2  HDFS权限管理概述

8.3  HDFS UGO权限

8.4 HDFS 权限相关命令

8.5 web页面上查看权限

 8.6 身份认证

8.6.1 Simple 认证

8.6.2 Kerberos 认证

8.7 HDFS Group Mapping 组映射

 8.8 ACL 权限管理

9. HDFS Proxy User 代理用户

 10. HDFS透明加密

10.1 背景

10.2 透明加密

10.3 重要概念和架构

10.3.1 加密区域

 10.3.2 密钥

 10.3.3 密钥库

10.3.4 KMS(密钥管理服务)

 10.3.5 写文件加密流程

10.3.6 读文件解密流程

10.3.7 Hadoop KMS配置

 ​​​​​​​

 10.3.8 透明加密使用