Hadoop分布式文件系统HDFS原理以及操作(一)

HDFS简介：活动在集群上并支持以流式数据访问模式来存取超大文件。存储设计是把海量数据部 署在价格低廉的节点上，具有高容错性和高吞吐量特性。HDFS的设计首要是针对超大文件存储，而对于小的文件访问和存储速度反而会降低。

HDFS体系结构：

HDFS集群有两类节点并以管理者-工作者模式（Master-Slave）运行，一个管理者和多个工作者。

一个HDFS集群是由一个名字节点（NameNode）和若干数据节点（DataNode）组成。HDFS是一个主从结构。

HDFS文件存储机制：

高吞吐量访问：HDFS的每个Block（大文件分块）分布在不同的Rack（机架服务器）上，在用户访问时，HDFS会计算使用最近和访问量最小的服务器给用户提供。不同的分块分布到不同的节点上，可以实现对同一个文件不同分块的并行读取，因此速度和效率高。

高容错性：系统故障是不可避免的，如果某个数据节点的服务器突然宕机，由于其上的数据分块在其他数据节点上还有备份，因此可以及时恢复且不影响文件读写。

HDFS Shell基本命令

1.执行命令：start-dfs.sh，启动HDFS进程。

2.启动HDFS后，通过jps命令查看HDFS服务是否启动，执行：jps，查看运行的进程。

3.查看所有HDFS Shell用户命令解释：hdfs dfs -help

4.如下图命令

 

 5.查看HDFS指定目录下的文件内容，执行hdfs dfs -cat /words.txt

 6.把HDFS根目录下文件下载到本地目录下，执行命令：hdfs dfs -get /words.txt /本地

7.把HDFS上指定的文件移动到指定的HDFS位置，执行命令：hdfs dfs -mv /words.txt /wordscp.txt

8.查看HDFS上指定目录下的文件，示例是根目录下：hdfs dfs -ls /

9.删除hdfs系统中的目录，执行hdfs dfs -rm -r /(目录名或者文件名)

10.在hdfs系统指定的目录下创建一个文件，执行：hdfs dfs -touchz /newword.txt

11.在HDFS系统的指定位置创建一个目录，执行：hdfs dfs -mkdir -p /aa/bb/cc

12.将指定的本地文件移动到HDFS系统指定的位置，执行：hdfs dfs -moveFromLocal /simple/words.txt  /aa

13.修改HDFS系统中指定文件或文件夹的用户所属组，执行：hdfs dfs -chgrp -R root /

14.改变指定目录文件的权限，-R指修改该目录下所有文件夹及其子文件夹的权限，例如执行：hdfs dfs -chmod -R 777 /

15.改变文件的所有者，用户必须是超级用户，执行：hdfs dfs -chown -R root:supergroup /