hadoop集群基本操作

建立目录：

 hdfs dfs -mkdir -p /user/hadoop/input

上传小文件：

hdfs dfs -put ./temp /user/hadoop/input

上传大文件：

 bin/hadoop fs -put /opt/module/hadoop-2.7.2.tar.gz /user/hadoop/input 

文件存放位置：

/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-1285140362-127.0.0.1-1592465251406/current/finalized/subdir0/subdir0

从集群下载：

bin/hadoop fs -get /user/hadoop/input/hadoop-2.7.2.tar.gz ./ 

显示文件列表

hdfs dfs  -ls  /user/hadoop/input

删除文件：

hadoop fs -rm -r -skipTrash /user/hadoop/input/nginx-1.18.0.tar.gz

 

 集群启动/停止方式总结

1. 各个服务组件逐一启动/停止 

 （1）分别启动/停止 HDFS 组件

hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode

（2）启动/停止 YARN 

yarn-daemon.sh start/stop resourcemanager/nodemanager

2. 各个模块分开启动/停止（配置 ssh是前提）常用

（1）整体启动/停止 HDFS

start-dfs.sh / stop-dfs.sh 

（2）整体启动/停止 YARN

 start-yarn.sh / stop-yarn.sh