1.HDFS重要特性
首先,它是一个文件系统,用于存储文件,通过统一的命名空间目录树来定位文件;
其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。
1.1. master/salver架构
HDFS采用master/salver架构。一般一个HDFS集群是有一个NameNode和一定数目的DataNode组成。NameNode是HDFS集群主节点,DataNode是HDFS集群从节点,两种角色各司其职,共同协调完成分布式的文件存储服务。
1.2. 分布存储
HDFS中的文件在物理上是分块存储(block)的,块的大小可以通过配置参数规定,默认大小在hadoop2.x版本中是128M
1.3. 名字空间(NameSpace)
HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动和重命名文件
NameNode负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都将被NameNode记录下来
1.4. NameNode元数据管理
我们把目录结构及文件分场位置信息叫做元数据。NameNode负责维护整个hdfs文件系统的目录树结构,以及每一个文件所对应的block块信息(block的id,及所有datanode服务器)
1.5. DataNode数据存储
文件的各个block的具体存储管理由datanode节点承担。每一个block都可以在多个datanode上。DataNode需要定时向NameNode汇报自己持有的block信息。
存储多个副本(副本数量也可以通过参数设置dfs.replication,默认是3)
1.6. 副本机制
为了容错,文件的所有block都会有副本。每个文件的block大小和副本数都可以配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定,也可以在之后改变
1.7. 一次写入,多次读出
HDFS是设计成适应一次写入,多次读出的场景,且不支持文件的修改。正因为如此,HDFS适合用来大数据分析的底层存储服务,并不适合用来做网盘等应用,因为,修改不方便,延迟大,网络开销大,成本太高
2. HDFS基本操作
3.1. Shell命令行客户端
Hadoop提供了文件系统的shell命令客户端,使用方法如下:
hadoop fs <args>
对于HDFS,命令示例如下:
hadoop fs -ls hdfs://node-1:9000
hadoop fs -ls /
对于本地文件系统,命令示例如下:
hadoop fs -ls file:///root
3.2. Shell命令选项
选项名称 | 使用格式 | 含义 |
---|---|---|
-ls | -ls <路径> | 查看指定路径的当前目录结构 |
-lsr | -lsr <路径> | 递归查看指定路径的目录结构 |
-du | -du <路径> | 统计目录下文件大小 |
-dus | -dus <路径> | 汇总统计目录下文件(夹)大小 |
-count | -count [-q]<路径> | 统计文件(夹)数量 |
-mv | -mv <源路径><目标路径> | 移动 |
-cp | -cp <源路径><目标路径> | 复制 |
-rm | -rm [-skipTrash]<路径> | 删除文件/空白文件夹 |
-rmr | -rmr [-skipTrash]<路径> | 递归删除 |
-put | -put <多个linux上的文件><hdfs路径> | 上传文件 |
-copyFromLocal | -copyFromLocal <多个linux上的文件><hdfs路径> | 从本地复制 |
-moveFromLocal | -moveFromLocal <多个linux上的文件><hdfs路径> | 从本地移动 |
-getmerge | -getmerge <源路径><linux路径> | 合并到本地 |
-cat | -cat <hdfs路径> | 查看文件内容 |
-text | -text <hdfs路径> | 查看文件内容 |
-copyToLocal | -copyToLocal [-ignoreCrc] [-crc] [hdfs源路径] [linux目标路径] | 从本地复制 |
-moveToLocal | -moveToLocal [-crc] [hdfs源路径] [linux目标路径] | 从本地移动 |
-mkdir | -mkdir <hdfs路径> | 创建空白文件夹 |
-setrep | -setrep [-R] [-w] <副本数> <路径> | 修改副本数量 |
-touchz | -touchz <文件路径> | 创建空白文件 |
-stat | -stat <路径> | 显示文件统计信息 |
-tail | -tail [-f] <文件路径> | 查看文件尾部信息 |
-chmod | -chmod [-R] <权限模式> [路径] | 修改权限 |
-chown | -chown [-R] [属主][:[属组]] 路径 | 修改属主 |
-chgrp | -chgrp [-R] 属组名称 路径 | 修改属组 |
-help | -help [命令选项] | 帮助 |
3.3.Shell常用命令介绍
-ls
使用方法: hadoop fs -ls [-h] [-R] <args>
功能: 显示文件、目录信息
示例: hadoop fs -ls /
-mkdir
使用方法: hadoop fs -mkdir [-p] <paths>
功能: 在hdfs上创建目录,-p表示创建路径中的各级父目录
示例: hadoop fs -mkdir -p /usr/hadoop/dirl
-put
使用方法: hadoop fs -put [-f] [-p] [ - | <localsrcl> ..] <dst>
功能: 将单个src或多个srcs从本地文件系统复制到目标文件系统
-p:保留访问和修改时间,所有权和权限
-f:覆盖目的地(如果已经存在)
示例: hadoop fs -put -f /root/jdk-8u211-linux-x64.tar.gz /
-get
使用方法: hadoop fs -get [-ignorecrc] [-crc] [ -p] [-f] <src> <localdst>
-ignorecrc:路过对下载文件的CRC检查
-crc:为下载的文件写CRC校验和
功能: 将文件复制到本地文件系统
示例: hadoop fs -get /jdk-8u211-linux-x64.tar.gz ./
-appendToFile
使用方法: hadoop fs -appendToFile <localsrc> ... <dst>
功能: 追加一个文件到已经存在的文件末尾
示例: hadoop fs -appendToFile 2.txt /1.txt
-cat
使用方法: hadoop fs -cat [-ignoreCrc] URI [URI ...]
功能: 显示文件内容到stdout
示例: hadoop fs -cat /1.txt
-getmerge
功能: 合并下载多个文件
示例: hadoop fs -getmerge /aaa/log.* ./log.sum
-setrep
功能: 改变一个文件的副本系数。 -R选项用于递归改变目录下所有文件的副本系数。
示例: hadoop fs -setrep -w 3 -R /user/hadoop/dir1