这个脚本是自己写的用作删除文件夹中重复文档的脚本;
参考了网络上的一个linux教程。
利用了相同文件的文件检验和相同的原理;
主要linux命令:
1、awk
2、tee
3、md5sum
4、comm
下面是脚本:
#!/bin/bash
ls -lS |awk 'BEGIN{
getline;getline;
name1=$9;size=$5
}
{
name2=$9;
if (size==$5)
{
command1="md5sum "name1;
command2="md5sum "name2;
command1 | getline s;csum1=$1;
command2 | getline s;csum2=$1;
if (csum1==csum2)
{
print name1;print name2;
}
};
size=$5;name1=name2;
}'|sort -u > duplicat_files
cat duplicat_files |xargs -I {} md5sum {}|sort|uniq -w |awk '{print$2}'|sort -u > duplicat_sample
echo Removing....
comm duplicat_files duplicat_sample -2 -3|tee /dev/stderr | xargs rm