视频:【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS
【视频笔记】
分析namenode开启过程:50070UI
----------------------------
1.默认目录下{hadoop.tmp.dir/dfs/name/current},fsimage文件存储为两个,加载fsimage_txid最后一个。(txid=39)
2.加载edits_txid操作文件至内存中。元数据已全部加载至内存上。(txid=40-41)
3.保存checkpoint(检查点):合并fsimage和edits文件,重新生成新的镜像文件和edits文件
4.等待接受来自datanode的block report
分析namenode运行过程(内存)
-----------------------------
1.记录对hdfs的编辑操作,追加edits_inprogress_txid
2.更新内存中的元数据;达到一定阈值后,运行checkpoint(检查点)
3.接受来自datanode的心跳信息