linux 去重使用awk与uniq

linux 去重使用awk与uniq

日志文件 catalina.out
2021-11-17 19:49:46:480 |10.217.99.143| [hello word]

awk格式

awk [-F field-separator] 'commands' input-file(s)

其中，[-F域分隔符]是可选的，commands 是真正awk命令。 input-file(s) 是待处理的文件。

在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

uniq -c 去重并计数

  //根据 空格过滤查看条数
  grep ' catalina.out|awk '{print $3}' |uniq -c
  //根据 】 进行分割过滤
  grep ' catalina.out|awk -F']' '{print $3}' |uniq -c