HDFS的命令行使用

ls

格式：hdfs dfs -ls  URI

作用：类似于linux的ls命令，显示文件列表

lsr

格式：hdfs dfs -lsr URI

作用：在整个目录下递归执行ls

mkdir

格式：hdfs dfs  【-p】 -mkdir <path>

作用：以《path》中的URI作为参数，创建目录，使用-p参数可以递归创建目录

put

格式： hdfs dfs  -put <localsrc>   <dst>

作用：将单个的源文件src或者多个源文srcs从本地文件系统拷贝到目标文件系统对应的路径<dst 对应的路径>

例： hdfs  dfs -put /root/a.txt  /dir1

 

 

moveFromLocal

格式：hdfs  dfs  -moveFromLocal  <localsrc>   <dst>

作用：和put 命令类似，但是源文件localsrc拷贝之后自身被删除

hdfs  dfs  -moveFromLocal   /root/install.log    /

 

get

格式： hdfs dfs  -get  [-ignorecrc]   [-crc]   <src>  <localdst>

作用：将文件拷贝到文件系统，CRC校验失败的文件通过-ignorecrc选项拷贝。文件和CRC

校验和可以通过-CRC选项拷贝

hdfs   dfs  -get  /a.txt   /export/servers

 

 

mv

格式：hdfs  dfs  -mv  URI  <dest>

作用：将hdfs上的文件从原路径移动到目标路径（移动之后文件删除），该命令不能跨文件系统

hdfs  dfs  -mv /dir/a.txt  /dir2

 

 

rm

格式：hdfs  dfs  -rm   [-r]    [-skipTrash]    URI    [URI......]

作用： 删除参数指定文件，参数可以有多个。此命令只删除文件和非空目录。

如果指定-skipTrash 选项，那么在回收站可用的情况下，改选项将跳过回收站而直接删除文件；

否则在回收站可用时，在HDFS Shell 中执行此命令，会将文件暂时放到回收站中。

hdfs dfs  -rm  -r  /dir1

 

cp

格式： hdfs  dfs  -cp  URI  [URI......]  <dest>

作用：将文件拷贝到目标路径中，如果<dest>  为目录的话，可以将多个文件拷贝到该目录下。

-f  选项将覆盖目标，如果它已经存在

-p 选项将保留文件属性

hdfs  dfs  -cp  /dir1/a.txt   /dir2/b.txt

 

 

cat

hdfs  dfs  -cat  URI   [URi....]

作用：将参数所指示的文件内容输出到stdout

hdfs  dfs  -cat /a.txt

 

chmod  

格式：  hdfs  dfs  -chmod  【-R】  URI 【URI.....】

作用： 改变文件权限，如果使用  -R  选项，则对整个目录有效递归执行。使用这一命令的用户必须是文件的所属用户，或者是超级用户

hdfs   dfs   -chmod  -R 777  /a.txt

chown

格式： hdfs  dfs  -chmod  [-R]  URI 【URI....】

作用： 改变文件的所属用户和用户组。如果使用 -R 选项，则对整个目录有效递归执行。使用这个一命令的用户必须是文件所属用户

或者是超级用户。

hdfs  dfs  -chown  -R hadoop:hadoop  /a.txt

 

appendToFile

格式：hdfs  dfs  -appendToFile  <localsrc> ......  <dst>

作用：追加一个或者多个文件到hdfs指定文件中，也可以从命令行读取输入

hdfs   dfs  -appendToFile   a.xml  b.xml /c.xml