hadoop 常用命令总结

背景

在本地记事本记得太多了，有的命令使用频次很低，时间长了容易忘记，分享出来后续使用时查找

常用命令

• 列出数据库下的所有表

hadoop fs -ls /user/hive/warehouse/test.db

• 统计数据库占用磁盘的总大小

hadoop fs -du -s -h /user/hive/warehouse/test.db

• 查看数据表中的数据

hadoop fs -cat /user/hive/warehouse/test.db/test/00000_0 | head 

• 设置副本数
  Hadoop默认是3个副本，replication factor 副本因子

hadoop fs -setrep -R 1 /user/hive/warehouse/test.db/test

• 创建文件夹

hadoop fs -mkdir /user/datashare

• 修改文件权限

hadoop fs -chmod 700 /user/datashare
hadoop fs -chmod -R 700 /user/datashare   #递归进行，针对子文件夹

• 检查HDFS中的文件是否存在

hadoop fs -test -e /user/hive/warehouse/test.db/test/0*

• 统计文件个数

hadoop fs -ls -h /user/hive/warehouse/test.db/test/dt=202310 | wc -l
hadoop fs -count /user/hive/warehouse/test.db/test/dt=202310

• 统计多个文件夹的总占用大小

hadoop fs -du -s  /user/hive/warehouse/test.db/test/dt=202310*  |   awk '{print $1}' | awk '{sum+=$1}END{print sum/1024**3 " G"}'

• 统计每个文件夹的单独大小

hadoop fs -du -s  /user/hive/warehouse/test.db/test/dt=202310*  |   awk '{print $1/1024**3 " G"}'

• 跨集群访问

hadoop fs -ls hdfs://10.20.1.100:8100/

• 查看hadoop 版本

hadoop version

• 查看数据缺失的块

hadoop fsck /user/hive/warehouse/test.db/test

• 复制分区至新表

1. CREATE TABLE new_table LIKE old_table;
2. 使用hadoop fs -cp 命令，把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下；
3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据；

• 查看数据库里面各数据表的大小，并进行排序

hadoop fs -du -s /user/hive/warehouse/test.db/* | sort -n | numfmt --to=iec --field=1

numfmt --to=iec --field=1 的作用是仅将第一列（大小）转换为人类可读的格式，而不改变第二列（路径）的内容。
--field=1 让 numfmt 只处理第一列，从而避免误修改文件路径

• 删除文件、空目录

hadoop fs -rm /user/hive/warehouse/emptydir

• 删除文件夹

hadoop fs -rmr /user/hadoop/dir

历史相关文章

• Hive 中把一行记录拆分为多行记录
• Hive中对相邻访问时间进行归并分组
• Hive 数据聚合成键值对时，根据值大小进行排序
• Hive中的常用函数
• Hive中各种日期格式转换方法总结
• Hive HQL支持的2种查询语句风格，你喜欢哪一种？

---

以上是自己实践中遇到的一些问题，分享出来供大家参考学习，欢迎关注微信公众号：DataShare ，不定期分享干货