Hadoop生产环境集群常用命令记录

阿童木-atom

已于 2022-03-16 12:04:27 修改

阅读量999

点赞数 1

分类专栏： hadoop生态集群文章标签： hadoop hdfs

于 2022-02-18 11:10:38 首次发布

本文链接：https://blog.csdn.net/zhaojianting/article/details/122998541

版权

本文详细记录了Hadoop生产环境集群的管理，包括集群状态查询、HDFS文件操作、HBase管理和磁盘初始化等关键步骤，以及salt安装脚本。涉及的命令涵盖namenode切换、datanode启停、hdfs空间统计、跨集群数据复制、HBase数据导入及租户隔离等。

摘要由CSDN通过智能技术生成

一、集群管理相关

1、hdfs haadmin -getServiceState nn2 --查询namenode的状态：active或standby
2、hdfs haadmin -transitionToActive --forceactive --forcemanual nn2 --强制namenode切换
3、hadoop-daemon.sh start datanode --启动datanode
4、hadoop-daemon.sh stop datanode --停止datanode

二、hdfs文件管理相关

1、hdfs dfs -du -h /hbase --查看hdfs目录/hbase的情况
2、hdfs dfs -du -s -h /hbase --统计hdfs目录/hbase占用的磁盘总大小
3、hadoop distcp -Dmapreduce.job.queuename=default -i -log /tmp/0810 -m 50 -update hdfs:///hbase/data/default/file1 hdfs://10.113.225.101:8020/tmp/file2 --跨集群复制数据，简单粗暴，但效率最高
4、hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tmp/t_hbase_log/1f032c7ae38dea9ec9adbc5e785bf803 t_hbase_log