【shell脚本 awk】

最新推荐文章于 2024-08-15 20:29:14 发布
最新推荐文章于 2024-08-15 20:29:14 发布
阅读量161 收藏
点赞数
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangyuanzhangy/article/details/125280272
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

一、awk

1.awk概述

AWK是一种处理文本文件的语言，是一个强大的文本分析工具。

它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件

2.AWK命令的基本格式

awk [选项] ‘模式条件{操作}’ 文件1 文件2...
awk -f|-v 脚本文件 文件1 文件.....

3.AWK工作原理

工作原理（1）:

当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出

如果没有定义匹配条件默认是匹配所有数据行，awk隐含循环，条件匹配多少次动作就会执行多少次

工作原理（2）:

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个"“字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符”

&&“表示"与”、“| |“表示"或”、”!.“表示非” ;还可以进行简单的数学运算，如+、一、*、/、%、^分别表示加、减、乘、除、取余和乘方。

前面提到sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个"字段"然后再进行处理，且默认情况下字段的分隔符为空格或tab键。awk 执行结果可以通过print的功能将字段数据打印显示。

在使用awk命令的过程中，可以使用逻辑操作符"&&“表示"与”、““表示"或”、”!“表示"非”;还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

awk后面接两个单引号并加上大括号{ }来设置想要对数据进行的处理操作，awk可以处理后续接的文件，也可以读取来自前个命令的标准输。

4.常见的内建变量

FS∶ 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同

NF∶ 当前处理的行的字段个数。

NR∶ 当前处理的行的行号（序数）。

$0∶当前处理的行的整行内容。

$n∶ 当前处理行的第n个字段（第n列）。

FILENAME∶ 被处理的文件名。

RS∶ 行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’

二、案例

1.打印文本内容

awk可以将自动将多个空格压缩成一个空格

打印字符串需要加双引号

1.1打印磁盘已经使用情况

[root@localhost ~]#df |awk '{print $5}'
已用%
8%
0%
0%
3%
0%
18%
1%
1%
100%

1.2打印字符串

[root@localhost ~]#awk '{print "hello"}'
1
hello
2
hello
3
hello

1.3打印字符串确定文件有多少行

[root@localhost ~]#awk '{print "hello"}' /etc/fstab 
hello
hello
hello
hello
hello
hello
hello
hello
hello
hello
hello
hello
[root@localhost ~]#awk '{print "hello"}' /etc/fstab |wc -l
12
[root@localhost ~]#cat /etc/fstab |wc -l
12

2.根据$n提取字段

2.1提取ip地址

$n,代表提取第几列

#法一
[root@localhost ~]#ifconfig ens33|sed -n '2p'|awk '{print $2}'
192.168.59.102

2.2提取mac地址

[root@localhost ~]#ifconfig ens33|sed -n '4p' |awk '{print $2}'
00:0c:29:3e:22:fe

3.根据选项-F指定分隔符

3.1打印/etc/passwd所有用户名

[root@localhost ~]#cat /etc/passwd|awk -F":" '{print $1}'
root
bin
daemon
adm
lp
sync
###########后面省略######

3.2打印多列内容

打印时逗号可以表示空格，如果使用“：”或者“+”，需要将特殊符号加上双引号当成字符串打印

=[root@localhost ~]#cat /etc/passwd|awk -F":" '{print $1,$2}'
root x
bin x
daemon x
###########后面省略######
 
[root@localhost ~]#cat /etc/passwd|awk -F":" '{print $1":"$2}'
root:x
bin:x
daemon:x
adm:x
###########后面省略######
 
[root@localhost ~]#cat /etc/passwd|awk -F":" '{print $1"+"$2}'
root+x
bin+x
daemon+x
###########后面省略######

3.3打印磁盘已经使用情况，去除%

#使用两条awk命令
[root@localhost ~]#df|awk '{print $5}'|awk -F% '{print $1}'
已用
8
0
0
3
0
18
1
1
100
 
#使用一次awk命令
[root@localhost ~]#df|awk -F"[ %]+" '{print $5}'
已用
8
0
0
3
0
18
1
1
100
##也可以使用（ |%）代表或者
[root@localhost ~]#df|awk -F"( |%)+" '{print $5}'
已用
8
0
0
3
0
18
1
1
100

3.4取出文本中的ip地址及时间

####文本内容####
[root@localhost opt]#vim test.txt 
 
58.87.87.99 - - [09/Jun/2020:03:42:43 +0800] "POST /wp-cron.php?
doing_wp_cron=1591645363.2316548824310302734375 HTTP/1.1" ""sendfileon
128.14.209.154 - - [09/Jun/2020:03:42:43 +0800] "GET / HTTP/1.1" ""sendfileon
64.90.40.100 - - [09/Jun/2020:03:43:11 +0800] "GET /wp-login.php HTTP/1.1"
""sendfileo
 
 
##提取
[root@localhost opt]#cat test.txt |sed '2d'|awk -F"[[ ]"  '{print $5"\t"$1}'
09/Jun/2020:03:42:43	58.87.87.99
09/Jun/2020:03:42:43	128.14.209.154
09/Jun/2020:03:43:11	64.90.40.100
	""sendfileo

3.5取出文本中的主机并放回

[root@localhost opt]#vim host.txt 
 
1 www.kgc.com
2 mail.kgc.com
3 ftp.kgc.com
4 linux.kgc.com
5 blog.kgc.com

4根据关键字提取所在行

4.1提取/etc/passwd 以root开头的行

[root@localhost opt]#cat passwd |awk -F":" '/^root/{print}' 
root:x:0:0:root:/root:/bin/bash

4.2提取/etc/passwd nologin结尾的行

[root@localhost opt]#cat passwd |awk -F":" '/nologin$/{print}' 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
###########后面省略######
 
##如果提取/sbin/nologin,则需要\转义/
[root@localhost opt]#cat passwd |awk -F":" '/\/sbin\/nologin$/{print}' 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
###########后面省略######

4.3提取ip地址

[root@localhost opt]#ifconfig ens33|awk '/netmask/{print $2}'
192.168.59.102

5.使用BEGIN输出包含指定字符的行并统计有多行

BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作;

awk再处理指定的文本，之后再执行END模式中指定的动作；

END{ } 语句块中，往往会放入打印结果等语句。

#先定义变量x，表示执行多少次
[root@localhost opt]#awk 'BEGIN {x=0};/\/bin\/bash$/;{x++};END{print x}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
yxp:x:1000:1000:yxp:/home/yxp:/bin/bash
42

6. FS∶ 列分割符提取列

[root@localhost opt]#awk -v FS=: '{print $1FS$3}' /etc/passwd
root:0
bin:1
daemon:2
adm:3
lp:4
###########后面省略######

7.统计/etc/fstab文件中每个文件系统类型出现的次数

[root@localhost opt]#cat /etc/fstab |awk '/[^#]/{print}'
# /etc/fstab
# Created by anaconda on Sat Sep  4 02:48:23 2021
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=183ca7c7-1989-4f43-9e81-d2676192f5a4 /boot                   xfs     defaults        0 0
/dev/mapper/centos-home /home                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
 
 
[root@localhost opt]#cat /etc/fstab |awk '/^[^#]/{print}'|awk '{print $3}'|sort |uniq -c
      1 swap
      3 xfs

8.提取主机名并放入原文件

[root@localhost opt]#vim text.txt
 
http://mail.kgc.com/index.html
http://www.kgc.com/test.html
http://study.kgc.com/index.html
http://blog.kgc.com/index.html
http://www.kgc.com/images/logo.jpg
http://blog.kgc.com/20080102.html
http://www.kgc.com/images/kgc.jpg
 
 
[root@localhost opt]#cat text.txt |awk -F"[. /]" '{print $3}' >>text.txt 
[root@localhost opt]#cat text.txt 
http://mail.kgc.com/index.html
http://www.kgc.com/test.html
http://study.kgc.com/index.html
http://blog.kgc.com/index.html
http://www.kgc.com/images/logo.jpg
http://blog.kgc.com/20080102.html
http://www.kgc.com/images/kgc.jpg
mail
www
study
blog
www
blog
www

9.统计/etc/fstab文件中每个单词出现的次数

[root@localhost opt]#grep -Eo "\b[[:alpha:]]+\b" /etc/fstab |sort|uniq -c|sort
      1 Accessible
      1 anaconda
      1 and
      1 are
      1 blkid
      1 boot
      1 Created
      1 disk
      1 etc
      1 filesystems
      1 findfs
      1 for
      1 info
      1 maintained
      1 man
      1 more
      1 mount
      1 on
      1 or
      1 pages
      1 reference
      1 root
      1 Sat
      1 See
      1 Sep
      1 under
      1 UUID
      2 by
      2 fstab
      2 home
      3 centos
      3 mapper
      3 swap
      3 xfs
      4 defaults
      4 dev
墨庾
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
shell脚本查看电脑配置
m0_60353617的博客
10-19 1092
主机名，IP地址，系统版本cpu，内存等配置查看脚本 配置脚本如下： name=`hostname` ip=`ifconfig ens33 |awk /netmask/'{print $2}'` os=`cat /etc/redhat-release` kernel=`uname -r` cpu=`lscpu |grep 型号名称：|tr -s " "|cut -d"：" -f2` mem=`free -hm |awk /Mem/'{print $2}'` space=`lsblk |awk.
Linux文本三剑客--awk
夏颜的博客
05-08 1276
文章目录一.awk概述1.1awk介绍1.2工作原理1.3awk命令格式二.awk常规用法2.1指定分隔符2.2指定多个分隔符2.3awk常用位置变量2.4awk指定行2.5模糊匹配 引言： 在Linux/UNIX 系统中包含很多种类的文本处理器或文本编辑器,其中grep，sed，awk是Shell 编程中经常用到的文本处理工具， 被称之为Shell编程三剑客 一.awk概述 1.1awk介绍 AWK是一个强大的文本分析工具。它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作
sed,grep例题过滤ip
qq_36523282的博客
08-09 650
[root@oldboyedu-lnb ~]# netstat -lntp /查看网卡配置信息 [root@oldboyedu-lnb ~]# netstat -lntp|grep ‘sshd’ /过滤sshd的信息 tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 7227/sshd tcp6 0 0 :::22 ::?
Shell中的awk的运用
Stephencurr的博客
10-28 1423
目录一、awk工具1.1awk内置变量1.2awk的用法1.3awk工作原理1.4AWK的版本1.5awk详解二、基础用法2.1打印挂载点中的第五列的内容2.2有多行就打印多少hello2.3打印网卡里面的IP地址2.4查看文件所有类容2.5查看挂载点 一、awk工具 1.1awk内置变量 FS：指定每行文本的字段分隔符，缺省为空格或制表位 NF：当前处理的行的字段个数 NR：当前处理的行的行号（序数） $0:当前处理的行的整行内容 $n:当前处理行的第n个字段（第n列） 1.2awk的用法 按行输出
shell脚本详解（十一）——awk文本和数据处理编程语言
热门推荐
想成功，靠自己
03-16 1万+
shell脚本详解（十一）——awk文本和数据处理编程语言一、awk命令 – 文本和数据进行处理的编程语言1、工作原理2、命令格式3、awk常见的内建变量（可直接使用）4、按行输出文本5、按字段输出文本6、通过管道、双引号调用 Shell 命令7、getline二、简单例题：提取本机IP地址，并进行二进制的转换输出 一、awk命令 – 文本和数据进行处理的编程语言 awk命令是一种编程语言，用于在linux/unix下对文本和数据进行处理。 而且它支持用户自定义函数和动态正则表达式等先进功能，是lin
shell脚本awk中使用for循环
和尚洗头用霸王的专栏
07-05 197
今天想使用shell脚本处理一ini文件下的ip地址，也就是INTRANET，前面的ip地址，折腾挺久。
shell脚本awk按照某列排序输出
01-09
for i in `awk -F ‘[ |]’ ‘{print NR,$2}’ mscto.txt|sort -rn -k2|awk ‘{print $1}’`; do awk ‘NR==’$i’ {print}’ mscto.txt; done ———————————— 43 108|64 33 46|54 81 38|24 72 33|38 64 ...
Shell脚本中awk指令的用法
09-15
在Shell脚本中，awk是一种强大的文本分析工具，它能够处理和解析文件中的数据，尤其在处理结构化数据时非常有效。awk的工作原理是逐行读取输入文件，然后对每一行执行用户定义的指令。下面我们将深入探讨awk指令在...
linux-shell脚本命令：awk命令简介
07-27
awk命令常用于在Linux shell脚本中进行数据提取、文本转换、数据报告生成等操作。本文将对awk命令的基本知识进行介绍，包括其工作原理、参数说明、内置变量、内置函数和使用示例。 首先，awk的工作流程可以从读取...
Shell脚本之awk篇
07-30
awk 是一种编程语言，用于在 linux/unix 下对文本和数据进行扫描与处理。数据可 以来自标准输入、文件、管道。
shell 脚本
09-05
### Shell脚本基础知识 #### 1. Linux脚本编写基础 **1.1 语法基本介绍** ##### 1.1.1 开头 在编写Shell脚本时，必须确保脚本的第一行指定了用于解释该脚本的Shell类型。这行被称为shebang，其格式如下： ```sh...
shell 基础练习笔记——awk 使用
08-19 200
awk -F ':' '{print $1}' passwd 以冒号为分隔符，打印passwd文件的第一段 awk -F ':' '{print $1}' 1.txt awk -F ':' '{print $1}' inittab awk -F ':' '{print $1}' passwd awk '{print $0}' passwd ...
awk学习
weixin_34248118的博客
12-03 265
awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程:依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v] 大参数，-F指定分隔...
linux中shell的Awk（行处理器）用法
qq_43309149的博客
12-27 731
一、 Awk 简介     Awk 是被设计用于文本处理，并通常被用作数据提取和报告工具的解释性程序设计语言     Awk 分别代表其三个作者姓氏的第一个字母： Alfred Aho 、Peter Weinberger、Brain Kernighan     目前在Linux中常用的是 awk 编译版本有 mawk 、gawk     以 RedHat 为代表使用的是 gawk，以Ubuntu...
Linux 定时任务
flash的博客
08-14 275
在Linux系统中，cron是一个广泛使用的定时任务工具，允许用户安排周期性执行的任务（脚本或命令）。cron守护进程（crond）会读取配置文件（通常位于/etc/crontab），并根据这些配置文件中指定的时间规则来执行相应的任务。
linux：有关目录、链接文件的函数 Makefil、gdb的使用
最新发布
T66656的博客
08-15 611
功能:根据用户id到/etc/passwd文件下解析获得结构体信息参数:uid:用户id返回值:成功返回id对应用户的信息失败返回NULLpasswd结构体的定义通常如下所示。
linux开启RNDIS，实现虚拟网卡
轩辕霸天L
08-15 194
首先要 `make clean`，清空之前的编译结果。
linux为QT程序创建桌面应用
王尼莫的博客
08-12 201
【代码】linux为QT程序创建桌面应用。
linux进程
lijiaweixx的博客
08-12 389
设计程序动态生成两个进程分别向相同文件写入不同数据时，需注意父子进程操作同一文件，可通过。Linux 中的 PCB（process control block）进程的主要作用是实现并发，提高系统资源的利用率和系统的处理能力。内核的主要功能之一是完成进程调度，宏观上并行，微观上串行。创建进程，在不同的进程分支中通过。获取进程 ID 及时间来标识。
shell脚本awk
07-28
您好！对于您的问题，我可以为您提供一些关于Shell脚本中使用awk的基本信息。 Awk是一种强大的文本处理工具，通常在Shell脚本中使用。它能够对文本进行逐行处理，并根据指定的模式和动作执行相应的操作。 Awk的基本语法如下： ``` awk 'pattern { action }' file ``` 其中，pattern是用于匹配文本的模式，可以是正则表达式或字符串。action是在模式匹配成功时执行的操作，可以是打印文本、计算等。 下面是一个简单的例子，假设我们有一个名为data.txt的文件，内容如下： ``` Apple 10 Orange 15 Banana 8 ``` 我们可以使用awk来读取该文件并打印每行的第二列，示例代码如下： ```shell awk '{ print $2 }' data.txt ``` 运行上述命令后，输出将会是以下内容： ``` 10 15 8 ``` 除了打印文本，Awk还提供了一系列内置函数和变量，可以进行更复杂的文本处理操作。您可以通过查阅Awk的官方文档或者其他教程来深入了解和学习更多关于Awk的用法。 希望这些信息对您有所帮助！如果您有任何其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值