Hadoop-HDFS 常用shell命令

1. HDFS 查看文件

hadoop fs -ls
例如：

查看hdfs根目录文件

hadoop fs -ls / 查看hdfs根目录下的文件

查看 /hollycrm/data01下文件

hadoop fs -ls /hollycrm/data01

结果：结果是文件夹

Found 5 items
drwxr-xr-x   - root root          0 2017-04-18 10:30 /hollycrm/data01/bak
drwxr-xr-x   - root root          0 2017-04-27 15:24 /hollycrm/data01/codecs
drwxr-xr-x   - root root          0 2017-04-20 10:39 /hollycrm/data01/ods
drwxr-xr-x   - root root          0 2017-04-22 18:57 /hollycrm/data01/rev
drwxr-xr-x   - root root          0 2017-04-23 16:49 /hollycrm/data01/udm

2. HDFS 拷贝

hadoop fs -cp URI [URI …]
将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。

 hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

3.下载文件到本地（Linux）

hadoop fs -get

hadoop fs -get /input1.txt ~
cat ~/input1.txt  --查看本地下载的文件

4.删除

hadoop fs -rm

hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

5.创建文件夹mkdir

hadoop fs -mkdir

hadoop fs -mkdir /text

6.从本地上传文件put

从本地文件系统上传文件到HDFS
hadoop fs -put

hadoop fs -put ~/Desktop/input1.txt /
hadoop fs -text /input1.txt     --查看上传后的文件内容

7.显示内容

cat显示文件内容

hadoop fs -cat /input1.txt

text
将给定的文件以文本的格式输出，允许的格式zip、TextRecordInputStream、Avro。当文件为文本文件时，等同于cat。例：

 hadoop fs -text /input1.txt

tail
　　显示文件最后1KB的内容

　　选项-f：当文件内容增加时显示追加的内容
　　

 hadoop fs -tail /input1.txt