awk 初学

Awk使用

       适合初学者，可以拿来直接使用的文档。

一、           awk的运行模式

# awk ‘条件类型1 {动作1} 条件类型2 {动作2} …’ filename

说明：

       Awk后续的所有动作以单引号 ‘ 括住。

一个完整的awk语句为：Awk ‘[patten]{action}……’, 其中pattern缺省为1，action缺省为{print}。

那么awk ‘1’完整的写法就是awk ‘1{print}’; 同理，awk ‘{print}’完整的写法也是awk ‘1{print}’。

二、           awk常用

1.     $0 $1$2 $3

$0是整行，默认采用空格为分隔符，$1是第一列，$2是第二列，实际awk运行是，先读入文件中第一行数据，并将第一行的数据填入$0、$1、$2等变量中，再依据条件类型做相应的操作，操作做完后，若还有后续“行”的数据，再重复读进来，直到所有的数据读完。

2.     –F ‘ :’ 默认的分隔符是空格键或[tab]键，修改为 ：为分隔符则是左边的命令。

例如：# cat /etc/passwd | awk –F ‘:’ ‘{print $1}’，这是在命令行中，还可以在awk程序中修改分隔符 FS=”:”。

3.     用到的几个awk内置变量：

NF: 每一行（$0）拥有的字段总数

NR: 目前awk所处理的是第几行数据

FS: 目前的分隔字符，默认是空格键

4.     BEGIN

为什么会有BEGIN，《鸟哥书1》P365，比如在awk程序中修改分隔符，但第一行并没有输出你想要的结果，因为读入第一行的时候$1、$2等这些变量还是以空格为分隔符读进来的，这时候就需要BEGIN语句的作用。

5.     END

END说白了就是处理完文件中所有的行后进行的操作，比如说统计文件中行数或某个字符串出现的次数，END 之后输出总数即可。

6.     Awk 语句中的多个{}是怎么执行的？

{}里都是都是操作，awk是一行一行读取文本，然后按照代码的前后顺序执行。

7.     Awk中的next

如果调用next，则next之后的命令都不执行了，该行文本的处理结束，开始读取下一条记录并从头开始执行程序。

8.     Awk中的getline

与next相似，getline也是读取下一行数据。但是与next不同的是，next读取下一行之后，把控制权交给了awk脚本的顶部。但是getline却没有改变脚本的控制，读取下一行之后，继续运行当前的awk脚本。getline执行之后，会覆盖$0的内容。

9.     Awk执行

awk –f awk_pro file_name或者 awk –F ‘：’ ‘$1==open {print $0}’

三、           awk实战

1.     awk匹配变量的内容

例如：abc=”hello”   $0~abc，达到匹配变量的内容。

2.     awk中的模式

较常用的是：

/regular expression/： 扩展的正则表达式

如：awk '/3/ {print}'，这是整行匹配，如果仅需要匹配几个字符

awk '$1 ~ /ko/ {print}'/etc/passwd

Relational expression：关系表达式

如：

3.     awk与正则表达式的结合使用

^word：待查找的字符串在行首

word$：待查找的字符串在行尾

.：代表一定有一个任意字符的字符

\：转义字符，将特殊符号的特殊意义去除

*：重复零个到无穷多个的前一个字符

[list]：从字符集合中找到一个待查找的字符

[^list]：从字符集合中住处不要的字符串或范围

+：重复一个或一个以上的前一个RE字符

？：零个或一个的前一个RE字符

|：用或的方式找出数个字符串

先列这么多，用时可再参考《鸟哥书1》P361、P356

四、           grep

先记grep几个命令，grep多用于查找

grep string dir：grep在目录下查找有字符串string的文件，默认grep只能搜索当前目录，如果该目录下有子目录，则grep –r是搜索子目录，grep –d是忽略子目录。

grep –e char1 –e char2 filename: 显示出包含char1 或char2的行的内容

grep –E ‘open|read’ filename

egrep ‘char1|char2’ filename egrep等同于grep -E

grep –c ‘string’ file_name：统计文件中匹配string的行数

grep –o ‘string’ file_name:

 -o,--only-matching       show only the partof a line matching PATTERN

       Grep –P perl的正则表达式，暂未用过。