Hadoop3.2.x HDFS源码分析目录汇总 [完结]

 

Hadoop3.2.0 源码编译 [ 一 ]

Hadoop3.2.0 源码编译 [ 二 ]

Hadoop3.2.0 源码分析: SHELL启动脚本 DEBUG 模式

Hadoop3.2.0 源码分析: namenode 启动

Hadoop3.2.0 源码分析: datanode 启动

Hadoop3.2.0 源码分析: ResourceManager启动

Hadoop3.2.0 源码分析: NodeManager

Hadoop3.2.0 源码分析: Container 之 DefaultContainerExecutor 与 LinuxContainerExecutor

Hadoop3.2.0 源码分析: ResourceManager 调度 CapacityScheduler 理论

Hadoop3.2.0 源码分析: ResourceManager 调度 CapacityScheduler

 

-----------------------------------------------------------------------------------------------------------------------

RPC系列

Hadoop3.2.1 【 HDFS 】源码分析 : RPC实现 [一] proto接口协议

Hadoop3.2.1 【 HDFS 】源码分析 : RPC实现 [二] 概述&使用

Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [三] 概述&原理

Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [四] RpcEngine父类

Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [五] WritableRpcEngine 使用

Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [六] ProtobufRpcEngine 使用

Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [七] Server端实现&源码

Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [八] Client端实现&源码

Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [九] RPC 请求格式

 

-----------------------------------------------------------------------------------------------------------------------

NameNode系列

Hadoop3.2.1 【 HDFS 】源码分析 : Namenode[非HA]启动解析

Hadoop3.2.1 【 HDFS 】源码分析 : NameNode -format 解析

Hadoop3.2.1 【 HDFS 】源码分析 : FileSystem 解析

Hadoop3.2.1 【 HDFS 】源码分析 : INode相关类/接口 解析

Hadoop3.2.1 【 HDFS 】源码分析 :FSEditLog 解析

Hadoop3.2.1 【 HDFS 】源码分析 : 文件系统FSImage解析

Hadoop3.2.1 【 HDFS 】源码分析 : BlocksMap解析

Hadoop3.2.1 【 HDFS 】源码分析 :FSDirectory类解析

Hadoop3.2.1 【 HDFS 】源码分析 : Secondary Namenode解析

Hadoop3.2.1 【 HDFS 】源码分析 : Standby Namenode解析

Hadoop3.2.1 【 HDFS 】源码分析 :数据块管理解析

Hadoop3.2.1 【 HDFS 】源码分析 :BlockManager解析 [一]

Hadoop3.2.1 【 HDFS 】源码分析 :BlockManager解析 [二]

Hadoop3.2.1 【 HDFS 】源码分析 : LeaseManager解析

Hadoop3.2.1 【 HDFS 】源码分析 : CacheManager解析

Hadoop3.2.1 【 HDFS 】源码分析 : block放置策略

Hadoop3.2.1 【 HDFS 】源码分析 : ZKFailoverController解析

-----------------------------------------------------------------------------------------------------------------------

DataNode系列

Hadoop3.2.1 【 HDFS 】源码分析 : Datanode 启动

Hadoop3.2.1 【 HDFS 】源码分析 : Datanode 存储[一]

Hadoop3.2.1 【 HDFS 】源码分析 : Datanode 存储[二]

Hadoop3.2.1 【 HDFS 】源码分析 : Datanode升级、回滚、提交

Hadoop3.2.1 【 HDFS 】源码分析 : 文件系统数据集 [一]

Hadoop3.2.1 【 HDFS 】源码分析 : 文件系统数据集 [二]

Hadoop3.2.1 【 HDFS 】源码分析 : 文件系统数据集 [三]

Hadoop3.2.1 【 HDFS 】源码分析 : ReplicaInfo 解析

Hadoop3.2.1 【 HDFS 】源码分析 : FsDatasetCache 缓存操作方法

Hadoop3.2.1 【 HDFS 】源码分析 : BPServiceActor 解析

Hadoop3.2.1 【 HDFS 】源码分析 : BPOfferService 解析

Hadoop3.2.1 【 HDFS 】源码分析 : BlockPoolManager 解析

Hadoop3.2.1 【 HDFS 】源码分析 : DataTransferProtocol解析

Hadoop3.2.1 【 HDFS 】源码分析 Sender和Receiver解析

Hadoop3.2.1 【 HDFS 】源码分析 : DataXceiverServer 解析

Hadoop3.2.1 【 HDFS 】源码分析 : DataXceiver 解析 [一]

Hadoop3.2.1 【 HDFS 】源码分析 : DataXceiver: 读取数据块 解析 [二]

Hadoop3.2.1 【 HDFS 】源码分析 : 零拷贝数据传输

Hadoop3.2.1 【 HDFS 】源码分析 : DataTransferThrottler[限流] 解析

Hadoop3.2.1 【 HDFS 】源码分析 : 写数据

Hadoop3.2.1 【 HDFS 】源码分析 : BlockScanner & VolumeScanner 实现

Hadoop3.2.1 【 HDFS 】源码分析 : DirectoryScanner 实现

 

 

 

 

 

-----------------------------------------------------------------------------------------------------------------------

为什么HDFS文件块（block）大小设定为128M解析.

怎么做 HDFS 的原地平滑缩容？

Hadoop3.2.1 【 HDFS 】源码分析 : 如果通过blockId确定物理存储位置

 

-----------------------------------------------------------------------------------------------------------------------

 

 

todo list:

发送block 和发送 packet的头信息计算方式需要整理.

机架感知[DFSNetworkTopology  /  NetworkTopology]

 

-----------------------------------------------------------------------------------------------------------------------

未完结, 持续更新中............

 

 

 

 

 

参考:
Hadoop 2.X HDFS源码剖析 -- 徐鹏