研磨Hadoop之HDFS初探

一、HDFS概述

1、HDFS的概念

HDFS是一个分布式文件系统，通过目录树来定位文件。HDFS的设计适合一次写入，多次读取的场景，且不支持文件的修改。

2、HDFS优缺点

（1）优点

1）高容错性

数据自动保存多个副本，通过增加副本提高容错性。

某一个副本丢失，可以自动恢复

2）适合大数据处理

数据规模：可以处理GB、TB、甚至PB的数据

文件规模：处理百万以上的文件数量

3）流式数据访问

一次写入，多次读取，不能修改，只能追加，保证数据的一致性

4）成本低

集群构建在廉价的机器上，多副本机制提高可靠性

（2）缺点

1）不适合低延迟的数据访问

2）无法高效处理大量小文件的存储

存储大量小文件的话，会占用NameNode大量的内存来存储元信息。

小文件的存储的寻址时间会超过读取时间，违反了HDFS的设计目标。

3）不能并发写入和文件随机修改

一个文件只能有一个写，不允许多个线程同时写

仅支持数据的追加，不支持文件的随机修改

3、文件块的大小

HDFS中的文件在物理上是分块存储的，块的大小可以通过配置参数来规定，默认是128M。

HDFS的块比磁盘大，目的是为了最小寻址时间。如果块设置的足够大，从磁盘传输数据的时间会明显大于寻址时间。因此传输一个由多个块组成的文件的时间取决于磁盘的传输速率。

如果寻址时间约为 10ms，而 传输速率为 100MB/s，为了使寻址时间仅占传输时间的 1%，我们要将块大小设置约为 100MB。默认的块大小 128MB。