flume系列之:清理HDFS上的0字节文件
HDFS上有时会生成0字节的文件,需要把这些文件从hdfs上清理掉,可以使用脚本批量清理指定目录下0字节文件。思路是先找到这些0字节文件,再批量执行hadoop fs -rm filename命令从hdfs上删除0字节文件。
一、使用脚本找出0字节文件
- 查找hdfs指定目录下的0字节文件
- 生成hadoop fs -rm filename命令存放到脚本cleanZeroFile.sh中
- 执行sh cleanZeroFile.sh把所有的0字节文件删除
查找0字节文件的脚本findZeroFile.sh
vim findZeroFile.sh
#!/bin/bash
set -x
DAY=$1
HOUR=$2
if [ $# -lt 2