HDFS技术

一、HDFS 概述

HDFS 产出背景及定义

1）HDFS 产生背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系
统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这
就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。

2）HDFS 定义

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目
录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务 器有各自的角色。 HDFS
的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭 之后就不需要改变。

HDFS 优缺点

HDFS优点

1）高容错性
数据自动保存多个副本。它通过增加副本的形式，提高容错性。
2）适合处理大数据
数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
某一个副本丢失以后，它可以自动恢复。
文件规模：能够处理百万规模以上的文件数量，数量相当之大。
3）可构建在廉价机器上，通过多副本机制，提高可靠性。