日常脚本二——重复数据删除

这个脚本是自己写的用作删除文件夹中重复文档的脚本；
参考了网络上的一个linux教程。
利用了相同文件的文件检验和相同的原理；
主要linux命令：
1、awk
2、tee
3、md5sum
4、comm
下面是脚本:

#!/bin/bash
 ls -lS |awk 'BEGIN{ 
    getline;getline;
     name1=$9;size=$5
 }
 {
     name2=$9;
     if (size==$5)
     {
        command1="md5sum "name1;
         command2="md5sum "name2;
         command1 | getline s;csum1=$1;
         command2 | getline s;csum2=$1;
         if (csum1==csum2)
         {
             print name1;print name2;
         }
     };
     size=$5;name1=name2;

 }'|sort -u > duplicat_files
 cat duplicat_files |xargs -I {} md5sum {}|sort|uniq -w |awk '{print$2}'|sort -u > duplicat_sample

 echo Removing....
 comm duplicat_files duplicat_sample -2 -3|tee /dev/stderr | xargs rm