今天我们继续总结HDFS的知识
1. HDFS基本原理
将文件切分成等大的数据块,存储到多台机器上
将数据切分、容错、负载均衡等功能透明化
2.HDFS的容错机制
hadoop为实现namenode的容错提供了两种机制
备份那些组成文件系统元数据持久状态的文件。通过配置使namenode在多个文件系统上保存元数据的持久状态。
运行一个辅助的namenode(这在hadoop2.X已经不同了)。帮助namenode定期通过编辑日志合并命名空间镜像,以防止编辑日志过大(即常说的secondarynamenode)
3.HDFS中的其他组成
Secondarynamenode节点做为辅助的namenode节点
fsimage 元数据镜像文件
edits:操作日文件
4.HDFS的应用场景
海量数据的可靠性存储
数据归档
5.HDFS的副本放置策略
副本1:同client的节点上
副本2:不同机架中的节点上
副本3:与第二个副本同一机架的另一个节点上
其他副本——随机挑选
6.HDFS典型物理拓扑
今天的内容可能有些太粗糙,我会在今后的时间里,把他总结的更为丰富的