Hadoop集群--(3)HDFS基本操作

1.HDFS重要特性

首先，它是一个文件系统，用于存储文件，通过统一的命名空间目录树来定位文件；
其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

1.1. master/salver架构

HDFS采用master/salver架构。一般一个HDFS集群是有一个NameNode和一定数目的DataNode组成。NameNode是HDFS集群主节点，DataNode是HDFS集群从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。

1.2. 分布存储

HDFS中的文件在物理上是分块存储（block）的，块的大小可以通过配置参数规定，默认大小在hadoop2.x版本中是128M

1.3. 名字空间（NameSpace）

HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动和重命名文件
NameNode负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被NameNode记录下来

1.4. NameNode元数据管理

我们把目录结构及文件分场位置信息叫做元数据。NameNode负责维护整个hdfs文件系统的目录树结构，以及每一个文件所对应的block块信息（block的id，及所有datanode服务器）

1.5. DataNode数据存储

文件的各个block的具体存储管理由datanode节点承担。每一个block都可以在多个datanode上。DataNode需要定时向NameNode汇报自己持有的block信息。
存储多个副本（副本数量也可以通过参数设置dfs.replication，默认是3）

1.6. 副本机制

为了容错，文件的所有block都会有副本。每个文件的block大小和副本数都可以配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变

1.7. 一次写入，多次读出

HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改。正因为如此，HDFS适合用来大数据分析的底层存储服务，并不适合用来做网盘等应用，因为，修改不方便，延迟大，网络开销大，成本太高

2. HDFS基本操作

3.1. Shell命令行客户端

Hadoop提供了文件系统的shell命令客户端，使用方法如下：
hadoop fs <args>
对于HDFS，命令示例如下：
hadoop fs -ls hdfs://node-1:9000
hadoop fs -ls /
对于本地文件系统，命令示例如下：
hadoop fs -ls file:///root

3.2. Shell命令选项

选项名称	使用格式	含义
-ls	-ls <路径>	查看指定路径的当前目录结构
-lsr	-lsr <路径>	递归查看指定路径的目录结构
-du	-du <路径>	统计目录下文件大小
-dus	-dus <路径>	汇总统计目录下文件（夹）大小
-count	-count [-q]<路径>	统计文件（夹）数量
-mv	-mv <源路径><目标路径>	移动
-cp	-cp <源路径><目标路径>	复制
-rm	-rm [-skipTrash]<路径>	删除文件/空白文件夹
-rmr	-rmr [-skipTrash]<路径>	递归删除
-put	-put <多个linux上的文件><hdfs路径>	上传文件
-copyFromLocal	-copyFromLocal <多个linux上的文件><hdfs路径>	从本地复制
-moveFromLocal	-moveFromLocal <多个linux上的文件><hdfs路径>	从本地移动
-getmerge	-getmerge <源路径><linux路径>	合并到本地
-cat	-cat <hdfs路径>	查看文件内容
-text	-text <hdfs路径>	查看文件内容
-copyToLocal	-copyToLocal [-ignoreCrc] [-crc] [hdfs源路径] [linux目标路径]	从本地复制
-moveToLocal	-moveToLocal [-crc] [hdfs源路径] [linux目标路径]	从本地移动
-mkdir	-mkdir <hdfs路径>	创建空白文件夹
-setrep	-setrep [-R] [-w] <副本数> <路径>	修改副本数量
-touchz	-touchz <文件路径>	创建空白文件
-stat	-stat <路径>	显示文件统计信息
-tail	-tail [-f] <文件路径>	查看文件尾部信息
-chmod	-chmod [-R] <权限模式> [路径]	修改权限
-chown	-chown [-R] [属主][:[属组]] 路径	修改属主
-chgrp	-chgrp [-R] 属组名称 路径	修改属组
-help	-help [命令选项]	帮助

3.3.Shell常用命令介绍

-ls
使用方法： hadoop fs -ls [-h] [-R] <args>
功能： 显示文件、目录信息
示例： hadoop fs -ls /

-mkdir
使用方法： hadoop fs -mkdir [-p] <paths>
功能： 在hdfs上创建目录，-p表示创建路径中的各级父目录
示例： hadoop fs -mkdir -p /usr/hadoop/dirl

-put
使用方法： hadoop fs -put [-f] [-p] [ - | <localsrcl> ..] <dst>
功能： 将单个src或多个srcs从本地文件系统复制到目标文件系统
  -p：保留访问和修改时间，所有权和权限
  -f：覆盖目的地（如果已经存在）
示例： hadoop fs -put -f /root/jdk-8u211-linux-x64.tar.gz /

-get
使用方法： hadoop fs -get [-ignorecrc] [-crc] [ -p] [-f] <src> <localdst>
    -ignorecrc：路过对下载文件的CRC检查
    -crc：为下载的文件写CRC校验和
功能： 将文件复制到本地文件系统
示例： hadoop fs -get /jdk-8u211-linux-x64.tar.gz ./

-appendToFile
使用方法： hadoop fs -appendToFile <localsrc> ... <dst>
功能： 追加一个文件到已经存在的文件末尾
示例： hadoop fs -appendToFile 2.txt /1.txt

-cat
使用方法： hadoop fs -cat [-ignoreCrc] URI [URI ...]
功能： 显示文件内容到stdout
示例： hadoop fs -cat /1.txt

-getmerge
功能： 合并下载多个文件
示例： hadoop fs -getmerge /aaa/log.* ./log.sum

-setrep
功能： 改变一个文件的副本系数。 -R选项用于递归改变目录下所有文件的副本系数。
示例： hadoop fs -setrep -w 3 -R /user/hadoop/dir1