实验04、CLI操作hadoop文件

1、查看hadoop文件列表

hadoop fs ls hadoop文件系统路径

hadoop fs ls /

2、创建文件夹

hadoop fs -mkdir -p 要创建的文件夹

hadoop fs -mkdir -p /user/g10

3、上传

3.1 put

hadoop fs -put 本地文件 远程文件

hadoop fs -put 12006242601.txt /user/g10/12006242601.txt

3.2 copyFromLocal

hadoop fs -copyFromLocal 本地文件 远程文件

hadoop fs -copyFromLocal 12006242602.txt /user/g10/12006242602.txt

3.3 moveFromLocal

hadoop fs -moveFromLocal 本地文件 远程文件

hadoop fs -moveFromLocal 12006242603.txt /user/g10/12006242603.txt

操作后本地的文件将被删除

3.4 appendToFile

hadoop fs -appendToFile 本地文件 远程文件

hadoop fs -appendToFile 12006242604.txt /user/g10/zhli.txt

操作后将本地文件的内容追加到远程文件的后面

4、下载

4.1 get

hadoop fs -get 远程文件 本地文件

hadoop fs -get /user/g10/12006242601.txt zhli.txt

4.1 copyToLocal

hadoop fs -copyToLocal 远程文件 本地文件

hadoop fs -copyToLocal /user/g10/12006242602.txt 12006242602.txt

5、远程文件操作

5.1 cat查看文件内容

hadoop fs -cat 远程文件

hadoop fs -cat /user/g10/12006242601.txt

5.2 rm删除文件

hadoop fs -rm -r 远程文件

hadoop fs -rm -r /user/g10/12006242601.txt

6、综合实例

• 1.每个小组在自己的集群上创建一个文件夹 /user/g10

hadoop fs -mkdir -p /user/g10

• 2.在自己本机上创建以学号为名称的文本文件（有几个成员创建几个），然后把这些文件上传到刚建立的文件夹中

echo "12006242601" > 12006242601.txt
echo "12006242602" > 12006242602.txt
echo "12006242603" > 12006242603.txt
echo "12006242604" > 12006242604.txt
hadoop fs -put 12006242601.txt  /user/g10/12006242601.txt
hadoop fs -put 12006242602.txt  /user/g10/12006242602.txt
hadoop fs -put 12006242603.txt  /user/g10/12006242603.txt
hadoop fs -put 12006242604.txt  /user/g10/12006242604.txt

• 3.将创建的以学号为名称的文件，追加到/user/g10/g10.txt中

touch g10.txt
hadoop fs -put g10.txt /user/g10/g10.txt
hadoop fs -appendToFile 12006242601.txt /user/g10/g10.txt
hadoop fs -appendToFile 12006242602.txt /user/g10/g10.txt
hadoop fs -appendToFile 12006242603.txt /user/g10/g10.txt
hadoop fs -appendToFile 12006242604.txt /user/g10/g10.txt

• 4.将/user/g10/g10.txt文件下载到本地

hadoop fs -get  /user/g10/g10.txt ./g10.txt