目录
6.FS:指定每行文本的字段分隔符,默认为空格或制表符,与-F相同
1. 统计/etc/fstab文件中每个文件系统类型出现的次数
3.将某日志文件访问用户的IP地址,在第三列冒号隔开,统计出访问量前十的IP地址
4.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字
一.awk是什么?
1.awk基本介绍
-
AWK 是一种处理文本文件的语言,是一个强大的文本分析工具
-
可以在无交互的模式下实现复杂的文本操作
-
相较于sed常作用于一整个行的处理,awk则比较倾向于一行当中分成数个字段来处理,因为awk相当适合小型的文本数据。
- 之所以叫 AWK 是因为其取了三位创始人
Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name
的首字符。
2.基本格式
awk [选项] ‘模式条件{操作}’ 文件1 文件2...
awk -f|-v 脚本文件 文件1 文件.....
3.工作原理
逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中, 并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个"字段"然后再进行处理。awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符"&&“表示"与”、"“表示"或”、"!“表示"非”;还可以进行简单的数学运算,如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
4.常见的内建变量(可直接用)
-
FS∶ 列分割符。指定每行文本的字段分隔符,默认为空格或制表位。与"-F"作用相同
-
NF∶ 当前处理的行的字段个数。
-
NR∶ 当前处理的行的行号(序数)。
-
$0∶当前处理的行的整行内容。
-
$n∶ 当前处理行的第n个字段(第n列)。
-
FILENAME∶ 被处理的文件名。
-
RS∶ 行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’
-
$NF:最后一段
-
$(NF-1):倒数第二段
二.awk相关示例
1.打印文本内容
-
awk可以将自动将多个空格压缩成一个空格
-
打印字符串需要加双引号
1.1 打印磁盘已经使用情况
df |awk '{print $5}'
1.2 打印字符串
awk '{print "hello"}'
1.3 打印字符串确定文件有多少行
awk '{print "hello"}' /etc/fstab
awk '{print "hello"}' /etc/fstab |wc -l
cat /etc/fstab |wc -l
2. 根据$n以及NR提取字段
$n,代表提取第几列
2.1 提取ip地址
ifconfig ens33|sed -n '2p'|awk '{print $2}'
ifconfig ens33 |awk 'NR==2{print $2}'
2.2 提取ipv6地址
ifconfig ens33|sed -n '3p'|awk '{print $2}'
ifconfig ens33 |awk 'NR==3{print $2}'
3. 根据选项-F指定分隔符
3.1 打印/etc/passwd所有用户名
cat /etc/passwd|awk -F":" '{print $1}'
或
cat /etc/passwd|awk -F: '{print $1}'
3.2 打印多列内容
打印时逗号可以表示空格,如果使用“:”或者“+”,需要将特殊符号加上双引号当成字符串打印
cat /etc/passwd|awk -F":" '{print $1,$2}'
cat /etc/passwd|awk -F":" '{print $1":"$2}'
cat /etc/passwd|awk -F":" '{print $1"+"$2}'
3.3 打印磁盘已经使用情况,去除%
#使用两条awk命令
df|awk '{print $5}'|awk -F% '{print $1}'
#使用一次awk命令
df|awk -F"[ %]+" '{print $5}'
##也可以使用( |%)代表或者
df|awk -F"( |%)+" '{print $5}'
3.4 取出文本中的ip地址及时间
##文本内容##
vim test.txt
58.87.87.99 - - [09/Jun/2020:03:42:43 +0800] "POST /wp-cron.php?
doing_wp_cron=1591645363.2316548824310302734375 HTTP/1.1" ""sendfileon
128.14.209.154 - - [09/Jun/2020:03:42:43 +0800] "GET / HTTP/1.1" ""sendfileon
64.90.40.100 - - [09/Jun/2020:03:43:11 +0800] "GET /wp-login.php HTTP/1.1" ""sendfileo
##提取##
cat test.txt |sed '2d'|awk -F"[[ ]" '{print $5"\t"$1}'
3.5 取出文本中的主机并放回
##文本内容##
vim host.txt
1 www.kgc.com
2 mail.kgc.com
3 ftp.kgc.com
4 linux.kgc.com
5 blog.kgc.com
##提取##
cat host.txt |awk -F "[. ]" '{print $2}' >>host.txt
4. 根据关键字提取所在行
4.1 提取/etc/passwd 以root开头的行
cat /etc/passwd |awk -F":" '/^root/{print}'
4.2 提取/etc/passwd root所在的行
cat /etc/passwd |awk -F: '/root/{print}'
4.3 提取/etc/passwd nologin结尾的行
cat /etc/passwd |awk -F":" '/nologin$/{print}'
##如果提取/sbin/nologin,则需要\转义/
cat /etc/passwd |awk -F":" '/\/sbin\/nologin$/{print}'
5. 使用BEGIN输出包含指定字符的行并统计有多行
-
BEGIN模式表示,在处理指定的文本之前,需要先执行BEGIN模式中指定的动作;
-
awk再处理指定的文本,之后再执行END模式中指定的动作;
-
END{ } 语句块中,往往会放入打印结果等语句。
#先定义变量x,表示执行多少次
awk 'BEGIN {x=0};/\/bin\/bash$/;{x++};END{print x}' /etc/passwd
6.FS:指定每行文本的字段分隔符,默认为空格或制表符,与-F相同
awk -v FS=: '{print $1FS$3}' /etc/passwd
7.NF:当前处理行的整行内容
7.1 当前处理的行的字段个数
cat /etc/passwd |awk -F: '{print NF}'
7.2 打印出每行最后一个字段
cat /etc/passwd |awk -F: '{print $NF}'
7.3 打印出每行倒数第二个字段
cat /etc/passwd |awk -F: '{print $(NF-1)}'
df|awk '{print $(NF-1)}'
8.NR:当前处理行的行号
8.1 当前处理的行的行号
#NR写在后面则在后面显示行号
#awk -F: '{print $1,NR}' /etc/passwd
root 1
bin 2
daemon 3
adm 4
lp 5
sync 6
shutdown 7
halt 8
#可以用制表符
awk -F: '{print $1"\t"NR}' /etc/passwd
root 1
bin 2
daemon 3
adm 4
lp 5
#NR写在前面则在前面显示行号
awk -F: '{print NR"\t"$1}' /etc/passwd
1 root
2 bin
3 daemon
4 adm
5 lp
8.2 NR==n代表行号等于什么
awk -F: 'NR==2 {print $1}' /etc/passwd
8.3 NR%2==0取偶数行
awk -F: 'NR%2==0 {print $1}' /etc/passwd
8.4 NR%2==1取奇数行
awk -F: 'NR%2==1 {print $1}' /etc/passwd
8.5 NR==1,NR==4取区间行
awk -F: 'NR==1,NR==4 {print $1}' /etc/passwd
8.6 取UID数值范围$n>1000
#取uid大于1000的行
awk -F: '$3>1000 {print}' /etc/passwd
#取uid大于等于1000的行
awk -F: '$3>=1000 {print}' /etc/passwd
三.试题练习
1. 统计/etc/fstab文件中每个文件系统类型出现的次数
cat /etc/fstab |awk '/^[^#]/{print}'|awk '{print $3}'|sort |uniq -c
2. 统计/etc/fstab文件中每个单词出现的次数
grep -Eo "\b[[:alpha:]]+\b" /etc/fstab |sort|uniq -c|sort
3.将某日志文件访问用户的IP地址,在第三列冒号隔开,统计出访问量前十的IP地址
cat log.txt |awk -F: '{print $3}' |sort |uniq -c |sort -rn |head
4.提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字
echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw"|grep -E -o "[0-9]+"