flume系列之:清理HDFS上的tmp文件,把.gz.tmp文件变为.gz文件
- flume出现异常,hdfs上生成的gz.tmp文件没有正常关闭,需要把这些gz.tmp格式的文件转变为gz文件。
- 思路是:可以写一个脚本找出所有的tmp文件,然后再批量执行hadoop fs -mv命令把所有的.gz.tmp文件变为.gz文件。
一、查找hdfs指定目录下的tmp文件
- 查找hdfs指定目录下的tmp文件
- 生成hadoop fs -mv filename.gz.tmp filename.gz命令存放到脚本cleanTemp.sh中
- 执行sh cleanTemp.sh把所有的.gz.tmp文件变为.gz文件
查找gz.tmp文件的脚本findTempFile.sh
vim findTempFile.sh
set -x
DAY=$1
HOUR=$2
if [ $# -lt