Awk 使用技巧

awk语法格式

‘BEGIN { cmd; ... cmd; }   #读取文件之前的操作

            { cmd; ... cmd; }    #每一行都进行的操作

            { cmd; ... cmd; }    #每一行执行的第二个操作，会换一行输出

...                                      #以此类推

条件判断 || /regex/ { cmd; ... cmd; }    #匹配到的行进行的操作

...                                      #以此类推

END { cmd; ... cmd; }’      #读取文件之后进行的操作

当指令很长的时候，可以将指令写入文件

awk  -f '指令文件' 待处理文件

快速上手

awk '{print $0}' file    #打印所有列
awk '{print $1}' file  #打印第一列
awk '{print $1, $3}' file   #打印第一和第三列
cat file | awk '{print $3, $1}'   #打印第三列和第一列，注意先后顺序。
cat file | awk '{print $3, $NF}' #打印第三列和最后一列
awk -F ":" '{print $1, $3}' /etc/passwd  #以“:”为分隔符分割列，然后打印第一列和第三列awk -F ":" '/root/ {print $0}' /etc/passwd #匹配有root的行 

$NF(Number of Fields) $ 表示最后，NF 表示第几列，$NF 表示最后一列，$(NF-1)表示倒数第二列，以此类推。

去掉第一行

ps aux | awk 'NR >1 {print $0}'

保留表头输出特定行

ps aux | awk 'NR==1 || /http/ { print $0 }'

常用的正则表达式

元字符	定义	案例	备注
.	任何单个字符	h.t test.	中间是任意字符的 h.t 三个字符 末尾是任意字符的五个字符 test.
[]	方括号中的任意字符	[abc] [0-2] r[oa]t	包含a或b或c的字符 包含0或1或2的字符 包含rot或rat
[^ ]	不包含方括号中的任意字符	[^abc]	不包含a或b或c
^	以什么开头	^ro	以ro开头
$	以什么结尾	.$ nc$	任意字符结尾 nc结尾
*	零个或多个前面的字符	ho*t	ht中间的o可以是0个或多个
+	一个或多个前面的字符	ro+t	rt中间的o可以是1个或多个
?	零个或一个字符	roo?t	rot或root
\	转义字符	\?	匹配?号
.*	任意字符	Test.*ing\.	Test与ing.中间的任意字符

字符集

[:alnum:]	Alphanumeric characters.
[:alpha:]	Alphabetic characters.
[:blank:]	Space or tab characters.
[:cntrl:]	Control characters.
[:digit:]	Numeric characters.
[:graph:]	Characters that are both printable and visible.  (A space is printable, but not visible, while an a is both.)
[:lower:]	Lowercase alphabetic characters.
[:print:]	Printable characters (characters that are not control characters.)
[:punct:]	Punctuation characters (characters that are not letter, digits, control characters, or space characters).
[:space:]	Space characters (such as space, tab, and formfeed, to name a few).
[:upper:]	Uppercase alphabetic characters.
[:xdigit:]	Characters that are hexadecimal digits.

AWK中的变量

变量	说明
ARGC	命令行参数的数目
ARGIND	命令行中当前文件的位置（从0开始算）
ARGV	包含命令行参数的数组
CONVFMT	数字转换格式（默认值为%.6g）
ENVIRON	环境变量关联数组
ERRNO	最后一个系统错误的描述
FIELDWIDTHS	字段宽度列表（用空格键分隔）
FILENAME	当前输入文件的名
FNR	同NR，但相对于当前文件
FS	字段分隔符（默认是任何空格）
IGNORECASE	如果为真，则进行忽略大小写的匹配
NF	表示字段数，在执行过程中对应于当前的字段数
NR	表示记录数，在执行过程中对应于当前的行号
OFMT	数字的输出格式（默认值是%.6g）
OFS	输出字段分隔符（默认值是一个空格）
ORS	输出记录分隔符（默认值是一个换行符）
RS	记录分隔符（默认是一个换行符）
RSTART	由match函数所匹配的字符串的第一个位置
RLENGTH	由match函数所匹配的字符串的长度
SUBSEP	数组下标分隔符（默认值是34）