hadoop大数据入门篇-hdfs（一）

  HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用!

  HDFS是大数据开发入门必备掌握知识，今天给大家介绍下hadoop一些常用的命令
1.查看hadoop版本

hadoop version

2.创建hdfs文件夹

hadoop fs -mkdir -p hdfs路径

hadoop fs -mkdir -p /tmp/hdfs

3.本地文件上传到hdfs

hadoop fs -put 本地路径 hdfs路径

hadoop fs -put /home/program/hdfs/data/test.txt /tmp/hdfs/

4.查看hdfs目录下文件

hadoop fs -ls hdfs路径

hadoop fs -ls /tmp/hdfs/

5.查看hdfs目录及其子目录下所有文件

hadoop fs -ls -R hdfs路径

hadoop fs -ls -R /tmp/hdfs/

6.本地文件并上传并覆盖hdfs文件

hadoop fs -put -f 本地路径 hdfs路径

hadoop fs -put -f /home/program/hdfs/data/test.txt /tmp/hdfs/

7.查看hdfs上文件的内容

hadoop fs -cat hdfs路径

hadoop fs -cat /tmp/hdfs/test.txt

8.从hdfs上下载文件(需要确保本地文件test2.txt不存在）

hadoop fs -get /hdfs路径 本地路径

hadoop fs -get /tmp/hdfs/test.txt /home/program/hdfs/data/test2.txt

9.从hdfs上下载文件，如果是目录则合并目录下所有文件

hadoop fs -getmerge hdfs路径 本地文件

hadoop fs -getmerge /tmp/hdfs/test.txt /home/program/hdfs/data/test2.txt
hadoop fs -getmerge /tmp/hdfs /home/program/hdfs/data/test3.txt

10.查看hdfs目录大小

(hadoop fs -du -s -h hdfs路径

hadoop fs -du -s -h /tmp/hdfs

11.删除hdfs目录下所有文件

(hadoop fs -rm -R hdfs路径

hadoop fs -rm -R /tmp/hdfs/*

12.修改hdfs目录用户组

hadoop fs -chgrp [-R] GROUP PATH...

hadoop fs -chgrp -R root /tmp/zhenglihan/cdhBigdata

13.修改hdfs目录权限

hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...

hadoop fs -chmod -R 777 /tmp/zhenglihan/cdhBigdata

14.修改hdfs目录属主

#hadoop fs -chown [-R] [OWNER][:[GROUP]] PATH...

hadoop fs -chown -R root /tmp/zhenglihan/cdhBigdata

15.查看所有正在运行的application

yarn application -list

16.杀死执行applicationid的application

yarn application -kill applicationid

17.查看已经执行完成的application日志

yarn logs -applicationId applicationid

  本文主要列举了hadoop最常用的命令，更为深度的讲解请扫描底部二维码关注公众号，关注后续博文，一起学习hadoop大数据！