awk进阶操作

最新推荐文章于 2022-11-26 22:17:49 发布
最新推荐文章于 2022-11-26 22:17:49 发布
阅读量193 收藏
点赞数

7.1、awk命令形式

         awk命令在shell脚本基本形式通常由四部分组成： [-F|-f|-v] (参数选项)、BEGIN语句块（初始化代码块）、pattern｛commadns｝（能够使用模式匹配的通用语句块）、END语句块(结束代码块)，这四部分是可选择的，任意一部分都可以不出现在脚本中，后面三部分通常是被单引号或双引号括起来，awk命令形式如下所示：

awk [-F|-f|-v]  ‘BEGIN{ commands }  /pattern/{ commands }  END{ commands}’  filename

 

四部分分别代表意义：

[-F|-f|-v]    参数选项：-F指定分隔符，-f调用脚本，-v定义变量 如var=value。

 

BEGIN{ commands }  初始化代码块：在对第一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符。

 

/pattern/{ commands }  匹配代码块和命令代码块：/pattern/匹配代码块，pattern可以是字符串或正则表达式；{ commands } 命令代码块，commadns可包含一条或多条命令。

 

END{ commands }   结尾代码块:在对每一行进行处理之后再执行的代码块，主要是进行最终的计算或输出结尾摘要信息。

 

awk工作原理：

第一步：执行BEGIN{ commands }语句块中的语句,可以选择[-F|-f|-v]参数选项一起执行。

 

第二步：从文件或标准输入(stdin)读取一行，然后执行/pattern/{ commands }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。

 

第三步：当读至输入流末尾时，执行END{ commands }语句块。

 

BEGIN语句块在awk开始从输入流中读取行之前被执行，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中,可以选择[-F|-f|-v]参数选项一起使用，这两部分是可选的。

 

pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供/pattern/语句块，则默认执行{ commands }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。

 

END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是可选的。

 

 

范例：以#号为分格符，分别输出两行，$1代表第一个字段，$2代表第二个字段。

[root@cloucentos6 ~]# echo -e "A line 1#A line 2" | awk -F "#" 'BEGIN{ print "Start" } {print $1 "\n" $2} END{ print "End" }'

Start

A line 1

A line 2

End

 

 

 

7.2、awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。如下图所示：

 

 

举例:

Linux系统创建了一个测试文本list，后续部分范例操作会以文本list为测试文件，测试文本list内容如下：

[root@cloucentos6 home]# cat list

John Daggett, 341 King Road, Plymouth MA

Alice Ford, 22 EAST Broadway, Richmond VA

Orville Thomas, 11345 Oak Bridge Road, Tulsa OK

Terry Kalkas, 402 Lans Road, Beaver Falls PA

Eric Adams, 20 Post Road, Sudbury MA

Hubert Sims, 328A Brook Road, Roanoke VA

Amy Wilde, 334 Bayshore Pkwy, Mountain View CA

Sal Carpenter, 73 6th Street, Boston MA

 

 

 

范例1：$1显示第一列，awk如果没有指定分界符，默认以空格或制表符为分界符。

[root@cloucentos6 home]# awk  '{print $1}'  list

John

Alice

Orville

Terry

Eric

Hubert

Amy

Sal

 

知识点补充：$2代表第二列，以此类推，如果是$10以上，不能直接使用$10需要加上括号如：$(10)

 

 

 

范例2：$0输出当前文本内容。

[root@cloucentos6 home]# awk  '{print $0}'  list

John Daggett, 341 King Road, Plymouth MA

Alice Ford, 22 EAST Broadway, Richmond VA

Orville Thomas, 11345 Oak Bridge Road, Tulsa OK

Terry Kalkas, 402 Lans Road, Beaver Falls PA

Eric Adams, 20 Post Road, Sudbury MA

Hubert Sims, 328A Brook Road, Roanoke VA

Amy Wilde, 334 Bayshore Pkwy, Mountain View CA

Sal Carpenter, 73 6th Street, Boston MA

 

 

 

范例3：使用NR统计文本中的行数，打印指定的行和列。

[root@cloucentos6 home]# awk  '{print NR}'  list

1

2

3

4

5

6

7

8

[root@cloucentos6 home]# awk  'END{print NR}'  list

8

 

[root@cloucentos6 home]# nl list | awk 'NR==3{print}'

     3     Orville Thomas, 11345 Oak Bridge Road, Tulsa OK

 

[root@cloucentos6 home]# nl list | awk 'NR==3{print $2}'

Orville

 

 

 

范例4：”/ /”模式，主要用于匹配正则表达式

[root@cloucentos6 home]# awk '/MA/' list

John Daggett, 341 King Road, Plymouth MA

Eric Adams, 20 Post Road, Sudbury MA

Sal Carpenter, 73 6th Street, Boston MA

 

[root@cloucentos6 home]# awk '/MA/ {print $1}' list

John

Eric

Sal

 

 

 

范例5：选项 –F 指定字段的分隔符

[root@cloucentos6 home]# awk -F ',' '{print $1 $2}' list

John Daggett 341 King Road

Alice Ford 22 EAST Broadway

Orville Thomas 11345 Oak Bridge Road

Terry Kalkas 402 Lans Road

Eric Adams 20 Post Road

Hubert Sims 328A Brook Road

Amy Wilde 334 Bayshore Pkwy

Sal Carpenter 73 6th Street

 

[root@cloucentos6 home]# awk -F ',' '{print $1;print $2}' list

John Daggett

 341 King Road

Alice Ford

 22 EAST Broadway

Orville Thomas

 11345 Oak Bridge Road

Terry Kalkas

 402 Lans Road

Eric Adams

 20 Post Road

Hubert Sims

 328A Brook Road

Amy Wilde

 334 Bayshore Pkwy

Sal Carpenter

 73 6th Street

 

知识点补充：多重命令使用分号隔开。

 

 

 

范例6：选项 –f 直接调用脚本或文本里的内容

[root@cloucentos6 home]# cat filename

/MA/{print "第" NR "行:"  "内容:" $0}

[root@cloucentos6 home]# awk -f filename list

第1行:内容:John Daggett, 341 King Road, Plymouth MA

第5行:内容:Eric Adams, 20 Post Road, Sudbury MA

第8行:内容:Sal Carpenter, 73 6th Street, Boston MA

 

 

 

范例7：内置变量NF，NF显示文本每一行的字段数量，$NF显示文本最后一列。

[root@cloucentos6 home]# awk '{print $NF}' list

MA

VA

OK

PA

MA

VA

CA

MA

[root@cloucentos6 home]# awk '{print NF}' list

7

7

8

8

7

7

8

7

 

 

 

范例8：借助-v选项，可以将变量的值传递给awk，有两种传递方法。

方法一：

[root@cloucentos6 home]# cat test.sh

#!/bin/bash

var=1000

echo | awk -v vartable=$var '{print vartable}'

[root@cloucentos6 home]# ./test.sh

1000

 

方法二：

[root@cloucentos6 home]# cat test.sh

#!/bin/bash

var1=1000

var2=2000

echo | awk '{print v1,v2}' v1=$var1 v2=$var2

[root@cloucentos6 home]# ./test.sh

1000 2000

 

 

 

范例9：向脚本传递参数

[root@cloucentos6 home]# cat test.sh

#!/bin/bash

#在awk命令中$1代表输入行的第一列字段，而在shell脚本中$1代表命令行提供的第一个参数

#把shell脚本$1第一个参数赋值给var,再将var赋值给awk$1第一列字段

awk '$1=var' var=$1 list

[root@cloucentos6 home]# ./test.sh  ABC

ABC Daggett, 341 King Road, Plymouth MA

ABC Ford, 22 EAST Broadway, Richmond VA

ABC Thomas, 11345 Oak Bridge Road, Tulsa OK

ABC Kalkas, 402 Lans Road, Beaver Falls PA

ABC Adams, 20 Post Road, Sudbury MA

ABC Sims, 328A Brook Road, Roanoke VA

ABC Wilde, 334 Bayshore Pkwy, Mountain View CA

ABC Carpenter, 73 6th Street, Boston MA

 

 

 

范例10：awk命令嵌套if判断语句和for循环语句。

###判断当前文件和目录大于500字节的文件打印出文件和大小

[root@cloucentos6 home]# ls -l | awk '{if (($5>=500)) print "\n" "文件: " $9 "\n" "大小: " $5 "B" "\n"}'

 

文件: lost+found

大小: 16384B

 

###判断当前目录文本大于300字节的文件打印出文件和大小

[root@cloucentos6 home]# ls -l | awk '{if (( $5>=300 && /^-/ )) print "\n" "文本: " $9 "\n" "大小: " $5 "B" "\n"}'

 

文本: list

大小: 341B

 

 

文本: list.bak

大小: 341B

 

#把abcde字符串按顺序逐个输出

[root@cloucentos6 home]# echo "abcde" | awk -F '' '{for(i=1;i<=NF;i++) print $i}'

a

b

c

d

e

 

[root@cloucentos6 home]# echo "abcde" | awk -F '' '{for(i=NF;i>=1;i--) print $i}'

e

d

c

b

a

 

 

 

范例11：awk命令提供两个函数用于完成字符串大小写转换，函数为小写tolower（）和大写toupper（）。

[root@cloucentos6 home]# awk '{print tolower($0)}' list

john daggett, 341 king road, plymouth ma

alice ford, 22 east broadway, richmond va

orville thomas, 11345 oak bridge road, tulsa ok

terry kalkas, 402 lans road, beaver falls pa

eric adams, 20 post road, sudbury ma

hubert sims, 328a brook road, roanoke va

amy wilde, 334 bayshore pkwy, mountain view ca

sal carpenter, 73 6th street, boston ma

 

[root@cloucentos6 home]# awk '{print toupper($0)}' list

JOHN DAGGETT, 341 KING ROAD, PLYMOUTH MA

ALICE FORD, 22 EAST BROADWAY, RICHMOND VA

ORVILLE THOMAS, 11345 OAK BRIDGE ROAD, TULSA OK

TERRY KALKAS, 402 LANS ROAD, BEAVER FALLS PA

ERIC ADAMS, 20 POST ROAD, SUDBURY MA

HUBERT SIMS, 328A BROOK ROAD, ROANOKE VA

AMY WILDE, 334 BAYSHORE PKWY, MOUNTAIN VIEW CA

SAL CARPENTER, 73 6TH STREET, BOSTON MA

 

 

 

范例12：awk命令提供一个统计字符串长度的函数length（）。

[root@cloucentos6 home]# echo "abcde" | awk '{print length($0)}'

5

 

[root@cloucentos6 home]# echo "abcde" | awk -F '' '{print NF}'

5

 

[root@cloucentos6 home]# echo "abcde" | wc -L

5

 

[root@cloucentos6 home]# cat test.sh

#!/bin/bash

var="abcde"

echo ${#var}

[root@cloucentos6 home]# ./test.sh

5

zhuge134
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
awk从放弃到入门（5）：awk模式（Pattern）之一
qq_40531442的博客
11-26 849
上图中，我们使用了一个简单的”模式”，换句话说，我们使用了一个简单的”条件”，这个条件就是，如果被处理的行正好有5列字段，那么被处理的行则满足”条件”，满足条件的行会执行相应的动作，而动作就是{print $0}，即打印当前行，换句话说，就是只打印满足条件的行，条件就是这一行文本有5列（NF是内置变量，表示当前行的字段数量，如果你忘了，那么请你重新看一遍之前的文章），而上例中，只有第二行有5列，所以，只有第二行能与我们指定的”模式”相匹配，最终也就只输出了第二行。这就是所谓的”模式”，其实很简单，对吧。
第10章：awk进阶操作
weixin_33939843的博客
05-25 122
  第10章：awk进阶操作       　　　　　在第4章：查找与替换简单的讲解了awk的使用，本章介绍详细讲解awk的使用。awk是一个强大的文本分析工具，简单的说awk就是把文件逐行的读入， 　　以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。在shell脚本中文本处理功能awk功能其强大。       7.1、awk命令形式          awk命令在...
linux | 深入学习awk命令，了解它强大而又丰富的功能
m0_59388634的博客
12-16 1165
练习 1.只显示df-h结果的第一列文件系统 df -h | awk '{print $1}' 2.显示passwd文件的第5行和第10行的行号和用户名 awk -F: 'NR==10 || NR==5{print NR,$1}' /etc/passwd 3.使用NF变量显示passwd文件倒数第二列的内容 awk -F: '{print NR,$(NF-1)}' /etc/passwd 4.显示passwd文件中第5到第10行的用户名 awk -F: 'NR==1.
在Linux命令行内的大小写转换（附全套Linux视频教程）
关注我！带你一路 "狂飙" 到底！
10-16 2353
注意此结果只是将打印在屏幕的内容转换为了小写，本身文档内的大写字母并无变动，使用 cat depts 命令查看便可知道。在编辑文本时大小写常常是需要注意的地方，大小写的转换是很枯燥而繁琐的工作，所幸，Linux 提供了很多能让这份工作变得容易的命令。接下来让我们看看都有哪些完成大小写转换的命令。tr (translate) 是能运用在命令行或者脚本上的最简单的大小写转换命令之一。当你需要对一大批文本进行这个操作的时候，比如要以正确的格式显示一大批人的姓名时，需要做的事情会变得稍微难一些。
系统搭建遇到问题1：awk: symbol lookup error: awk: undefined symbol: mpfr_z_sub
weixin_30568591的博客
05-27 763
在配置xilinx的交叉编译工具以及source settings64.sh时，出现如下错误提示： awk: symbol lookup error: awk: undefined symbol: mpfr_z_sub 解决过程： 通过strace awk sourcesettings64.sh发现会open一些不存在的目录。 参考https://www.xilinx.com/suppo...
Linux Awk数组操作详细介绍
01-09
用awk进行文本处理，少不了是它的数组处理。那么awk数组有那些特点，一般常见运算又会怎么样呢。我们先看下下面的一些介绍，结合例子我们会讲解下它的不同之处。在 awk 中数组叫做关联数组(associative arrays)，...
shell工具之awk
01-09
shell工具之awk ​ 一个强大的文本分析工具，把文件逐行的读入，以空格为默认的分割符并将每行切片，切开的部分在进行分析处理。 1.基本用法 awk [选项参数] ‘pattern1 {action} pattern2 {action}…’ filename ...
awk入门到精通.pdf
08-24
1. 前言 这是一本awk学习指引, 其重点着重于 :  awk 适于解决哪些问题 ?...本手册为awk入门的学习指引, 其内容将先强调如何撰写awk程序,未列入进一步解题方式的应 用实例, 这部分将留待UNIX进阶手册中再行讨论.
AWK简明教程
06-25
AWK简明教程 AWK是贝尔实验室1977年搞出来的文本出现神器，所以非常有必要为它写篇文章。之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。要学AWK，就...
awk 笔记之六 patterns, actions, variables 详细介绍
dairyman的专栏
04-08 2350
在开始学习awk的时候, 我们就学到了, 构成awk脚本语句的基本框架. 即  Pattern { Action },  我们把一对Pattern { Action } 成为一个规则(Rule). 今天,我们进一步来学习如何建立pattern和action,以及内建变量(Variable)的使用. 1.  Pattern awk是否执行一条规则,取决于输入记录是否跟Pattern匹配. 常见的
Shell编程之awk工具
小健健的博客
02-20 432
一、awk介绍1.awk概述2.awk能干啥?二、awk使用方式1.==命令行模式使用==1)语法结构2)常用选项介绍3)=='==命名部分说明=='==2.脚本模式使用1)脚本编写2)脚本执行三、 awk内部相关变量1、==常用内置变量举例==2、内置变量分隔符举例四、 awk工作原理五、awk使用进阶1.格式化输出print和printf2.awk变量定义3.awk中BEGIN...END使用...
AWK进阶
子何的博客
05-17 206
上一篇介绍了AWK的一些基本使用规则和一些示例，本篇介绍AWK进阶的一些知识PATTERN 模式匹配，有点类似于sed中的地址定界，用来过滤符合要求的记录    （1）默认是空模式，匹配每一行    （2）/regular expression/ ：表示过滤出符合模式的的记录，正则表达式            （3）relational expression：关系表达式，这里结果是布尔值，有“真”...
awk进阶
weixin_43857096的博客
05-28 259
1.使用变量 awk编程语言支持两种不同类型的 变量：  内建变量  自定义变量 awk有一些内建变量。这些变量存放用来处理数据文件中的数据字段和记录的信息。也可以在gawk程序里创建你自己的变量。 1.1. 字段和记录分隔符变量 awk数据字段和记录变量 变 量 描 述 FIELDWIDTHS 由空格分隔的一列数字，定义了每个数据字段确切宽度 FS 输入字段分隔符 RS ...
awk编程基础
weixin_30888707的博客
05-23 193
一、awk介绍 awk（名字来源于三个创始人姓氏首字母）是linux系统下文本编辑工具，是一门编程语言，有自己的基本语法和流程控制、函数。awk简单高效。 二、awk的运行方法 例子：使用冒号:分割/etc/passwd，打印出第一列 1.通过命令行执行 awk -F: '{print $1}' /etc/passwd 2.通过执行awk文件来执行 awk文...
awk进阶详解
m493096871的博客
01-02 309
    文本三工具grep sed awk     grep  egrep  fgrep 文本过滤     sed  行编辑器         模式空间、保持空间     awk 报告生成器，格式化文本输出     AKW: Aho,Weinberger,Kernighan  这个工具的三个人的作者             1970s出现的--&gt;New AWK ,NAWK        ...
awk基础用法详解
qq_33172851的博客
11-26 2706
awk用法-内置变量-函数-条件语句
Linux C编程问题：symbol lookup error: xxx undefined symbol xxx
热门推荐
guangyacyb的博客
12-21 3万+
程序代码在编译的时候没问题，但是在运行的时候报错： ./bin: symbol lookup error: ./bin: undefined symbol: xxx 百度了一下，貌似是程序运行时使用的动态库和编译时makefile 指定链接的动态库不同所致。用ldd查看文件使用到的库，有很多，但是仔细看 undefined symbol: 后的一串文字： _ZN10xxx8xxxEPKc...
awk 操作 wkt
最新发布
03-12
AWK是一种文本处理工具，它可以用于提取、转换和格式化文本数据。WKT（Well-Known Text）是一种用于表示地理空间数据的文本格式。在AWK中，你可以使用AWK的字符串处理和模式匹配功能来操作WKT数据。 下面是一些常见的AWK操作WKT的示例： 1. 提取WKT中的几何类型： ``` awk '/^POINT/ {print "这是一个点"} /^LINESTRING/ {print "这是一个线"} /^POLYGON/ {print "这是一个多边形"}' file.wkt ``` 2. 提取WKT中的坐标信息： ``` awk -F '[(), ]' '{for(i=2;i<=NF;i+=2) print $i, $(i+1)}' file.wkt ``` 3. 计算WKT中几何对象的长度或面积： ``` awk '/^LINESTRING/ {len=0; for(i=2;i<=NF;i+=2) len+=sqrt(($i-$(i-2))^2+($(i+1)-$(i-1))^2); print "线的长度为：" len} /^POLYGON/ {area=0; for(i=2;i<=NF;i+=2) area+=($i*$(i+3)-$(i+1)*$(i+2))/2; print "多边形的面积为：" area}' file.wkt ``` 这些示例只是AWK操作WKT的一小部分，你可以根据具体需求使用AWK的强大功能进行更复杂的操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值