awk&sed入门(可编程过滤器awk与流编辑器sed)

最新推荐文章于 2022-10-25 18:26:13 发布
最新推荐文章于 2022-10-25 18:26:13 发布
阅读量365 收藏
点赞数
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhou16333/article/details/84234978
版权

参考：李中国老师的课件

目录

可编程过滤器awk

历史

  略

awk: 为什么叫做可编程过滤器 ?

  • awk 可以读标准输入并写标准输出 , 因此符合经典过滤
    器模式的程序定义
  • 但是 awk 与 grep,tr,wc,sort,uniq 等功能单一的过滤器程序的最大不同之处 , 是它的文本过滤功能需要通过用户自己编程去实现 , 因此更加强大、丰富、灵活

准备数据：emp.data，分隔符为空格

Beth	4.00	0
Dan	3.75	0
Kathy	4.00	10
Mark	5.00	20
Mary	5.50	22
Susie	4.25	18

awk 可编程过滤器的五种使用方式

方式一
cat emp.data | awk '$3 > 0 { print $1, $2 * $3 } '
方式二
awk '$3 > 0 { print $1, $2 * $3 } ' emp.data
方式三
awk -f programfile emp.data
方式四
cat emp.data | awk -f programfile
方式五
chmod +x programfile
cat emp.data | ./programfile
或
./programfile emp.data


awk源文件programfile： 注意第一行#! /usr/bin/awk -f

#! /usr/bin/awk -f
$3 > 0 { print $1, $2 * $3 }
#$3 > 0 {print $1,$2*$3}
#$3 > 0 {print $1, $2*$3}
#$3 > 0 {print $1, $2* $3 }
#$3 > 0 {print $1"\t"$2*$3}

awk 程序的基本结构

awk '模式 + { 动作 }'

只有动作：默认模式为匹配所有行
awk ’ { print $1 } ’ emp.data

只有模式：默认动作为打印匹配的行
awk ’ $3 == 0 ’ emp.data

awk 程序的特殊模式：

BEGIN

  在读入文件之前执行。

命令行

[sy@sy-pc script]$ awk 'BEGIN {print "Name Rate Hours";print "" }{ print }' emp.data 
Name Rate Hours

Beth 4.00 0
Dan 3.75 0
Kathy 4.00 10
Mark 5.00 20
Mary 5.50 22
Susie 4.25 18

程序文件
#注意：BEGIN 与 { 必须在同一行

[sy@sy-pc script]$ cat programfile.sh 
#! /usr/bin/awk -f
BEGIN {	#注意：这里的BEGIN 与 { 必须在同一行
	print "Name Rate Hours"
	print ""
}
{
	print
}

[sy@sy-pc script]$ ./programfile.sh emp.data 
Name Rate Hours

Beth 4.00 0
Dan 3.75 0
Kathy 4.00 10
Mark 5.00 20
Mary 5.50 22
Susie 4.25 18

END

  在读完文件之后执行。
#注意：END与 { 必须在同一行

[sy@sy-pc script]$ cat programfile.sh 
#! /usr/bin/awk -f
$3>15{emp=emp+1}	#每个符号之间可以有空格  $3 > 15 { emp = emp + 1 }
END {	#注意：END与 { 必须在同一行
	print emp, "employess worked more than 15 hours"
}

[sy@sy-pc script]$ ./programfile.sh emp.data 
3 employess worked more than 15 hours

awk 程序的特殊变量： NR 与 NF

  • NR: 记录当前行号
  • NF: 当前行内字段数
  • $0: 当前整行的内容
  • F: 指定分隔符
[sy@sy-pc script]$ awk '{print NR, $0}' emp.data 
1 Beth 4.00 0
2 Dan 3.75 0
3 Kathy 4.00 10
4 Mark 5.00 20
5 Mary 5.50 22
6 Susie 4.25 18

[sy@sy-pc script]$ cat programfile.sh 
#! /usr/bin/awk -f
{print NR, $0}

$ ./programfile.sh emp.data

  计算某文件有多少个字符：
思考：程序中为什么要+1？

[sy@sy-pc script]$ cat programfile.sh 
#! /usr/bin/awk -f
{	nc=nc+=length($0) + 1
	nw=nw+NF
}
END {
	print NR, "lines,", nw, "words,", nc, "characters"
}

[sy@sy-pc script]$ ./programfile.sh emp.data 
6 lines, 18 words, 77 characters

  -F 指定分隔符的使用方式

[root@sy-pc ~]$ cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

[root@sy-pc ~]$ cat /etc/passwd | awk -F : 'BEGIN {print "name\tshell"} {print $1","$7} END {print "blue,/bin/nosh"}'
name	shell
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
......
blue,/bin/nosh

awk 控制结构

  与 C 语言一样 ,awk 支持 if 语句、 for 循环、 while 循环等控制语句 ( 具有相同的语法 ):

  将负数转成正数显示：

[sy@sy-pc script]$ cat programfile.sh 
#! /usr/bin/awk -f
{
	for (i = 1; i <= NF; i = i + 1){
		if ($i < 0) 
			$i = -$i
	}
	print
}

或者

[sy@sy-pc script]$ cat programfile.sh 
#! /usr/bin/awk -f
{	for (i = 1; i <= NF; i = i + 1) if ($i < 0) $i = -$i
	print
}

awk 数组

  将文件内容，按每一行倒叙显示：

[sy@sy-pc script]$ cat programfile.sh 
#! /usr/bin/awk -f
{ line[NR]=$0}
END { for (i=NR; i>0; i=i-1)
	print line[i]
}

[sy@sy-pc script]$ ./programfile.sh emp.data 
Susie 4.25 18
Mary 5.50 22
Mark 5.00 20
Kathy 4.00 10
Dan 3.75 0
Beth 4.00 0


流编辑器sed

简介

  • sed = stream editor
  • 流编辑器 sed
    • 它编辑的对象通常是 Unix 管道中的文本流 , 故名
    • 诞生于 1973 – 1974 年 , 发明人是贝尔实验室的 LeeE. McMahon ( 毕业于哈佛大学 )
    • 常常作为过滤器应用于管道之中 , 实现对文本的自动编辑处理 ; 与 awk 类似 , 其编辑功能同样是可编程的(programmable)
  • sed 是标准的过滤器模式的程序
    • … | sed ‘s/xxx/yyy/g’ | …

替换命令 s

  sed 最基本、最重要的命令 s ：文本替换
注意：

  • 变更对象限制在特定的行，例如只想替换第2行内容，只需写为"2s"
  • 无g 匹配到一块后，停止这一行后面字符串的匹配；
  • 有g 匹配所有的字符串，即贪婪匹配；
  • 正则表达式及替换文本的分割符 / 可以换成其它符号；
  • 在被替换字符串中 , 可以用符号 & 表示前面正则表达式匹配的内容；这一特性在进行文本替换时非常有用；
  • 在正则表达式及被替换字符换中，可用 \number 表示第几个匹配的字符串；匹配字符串如需参加编号 , 则用 \( 和 \) 标志：
  • 无-r参数，大括号、小括号 需要加转义字符
  • 有-r 参数，可以省略 正则表达式中的转义字符；

例1：

[sy@sy-pc script]$ echo "123abc" | sed 's/[0-9][0-9]*/& &/'
123 123abc

例2：

[sy@sy-pc script]$ cat input.txt 
2014-03-03,37.92,38.13,37.49,37.78,29717500,37.78
2014-03-04,37.93,38.14,37.50,37.77,29717500,37.78
2014-04-05,37.94,38.15,37.51,37.77,29717511,37.79
2014-04-06,37.95,38.16,37.52,37.76,29717511,37.79

[sy@sy-pc script]$ cat input.txt | sed 's/,/\t/g' > output.txt
[sy@sy-pc script]$ cat output.txt 
2014-03-03	37.92	38.13	37.49	37.78	29717500	37.78
2014-03-04	37.93	38.14	37.50	37.77	29717500	37.78
2014-04-05	37.94	38.15	37.51	37.77	29717511	37.79
2014-04-06	37.95	38.16	37.52	37.76	29717511	37.79

只处理第2行 2s

[sy@sy-pc script]$ cat input.txt | sed '2s/,/\t/g' > output.txt  
[sy@sy-pc script]$ cat output.txt 
2014-03-03,37.92,38.13,37.49,37.78,29717500,37.78
2014-03-04	37.93	38.14	37.50	37.77	29717500	37.78
2014-04-05,37.94,38.15,37.51,37.77,29717511,37.79
2014-04-06,37.95,38.16,37.52,37.76,29717511,37.79

例3：

[sy@sy-pc script]$ cat telephone.txt 
4000001476
4000000049
4000000041
4000002754

[sy@sy-pc script]$ cat telephone.txt | sed 's/[0-9]\{3\}/(&)/'
[sy@sy-pc script]$ cat telephone.txt | sed -r 's/[0-9]{3}/(&)/'
(400)0001476
(400)0000049
(400)0000041
(400)0002754

例4：

[sy@sy-pc script]$ cat telephone.txt | sed 's/\([0-9]\{3\}\)\([0-9]\{3\}\)/\1-\2-/'
[sy@sy-pc script]$ cat telephone.txt | sed -r 's/([0-9]{3})([0-9]{3})/\1-\2-/'
400-000-1476
400-000-0049
400-000-0041
400-000-2754

参数 -i

永久关闭CentOS 7的SELInux

sed -i "s#SELINUX=enforcing#SELINUX=disabled#g" /etc/selinux/config
飞蛾逐月
关注
专栏目录
【shell】awk可编程过滤器
opi
02-04 413
目录 简介 1.标准结构 1.1 模式 1.2 动作 2.常用内置变量 3.支持运算符 4.例题 4.1.按行逆序打印 4.2.转置文件 4.3.输出所有子目录信息 4.4.输出第1行以后的行 4.5.列出当前目录下文件名及文件大小 简介 awk名称由Alfred Aho (龙书作者;哥伦比亚大学教授)、 Peter J. Weinberger(原贝尔实验室科学家；现...
Linux文本过滤命令grep|awk|sed小结
shxxxxyyyy的专栏
10-24 870
grep的使用： 一、grep一般格式：          grep [选项] 基本正则表达式 [文件]        这里的正则表达式可以为字符串。在grep命令中输入字符串参数时，最好将其用双引号括起来。调用变量时也可以使用双引号。在调用模式匹配事，应使用单引号。   二、grep常用选项：        -c   只输出匹配行的计数。        -i   不区分大小写（只
高级过滤器awk
zhliu1991的专栏
05-26 334
一、简单过滤功能 awk '/abc/{print}' test
linux学习笔记：awk文本过滤器
code_feien的博客
04-01 282
awk文本过滤器有关awk基本用法格式与变量awk处理时机awk处理条件条件如何表示awk流程控制if分支while分支for循环主要控制语句 有关awk awk是一种模式扫描及处理语言的工具 awk是创始人Aho、Weinberger、Kernighan三人名字的缩写 基于模式匹配检查输入的文本，逐行处理并print结果 目前最常用的实际是GNU的gawk 基本用法 格式与变量 格式1：前...
awk流编辑器
最新发布
weixin_65580338的博客
10-25 609
awk流编辑器介绍
Shell、awk、sed面试题汇总（无答案）.doc
07-07
Shell、awk、sed 面试题汇总 以下是从给定的文件中生成的相关知识点： Shell 1. 变量赋值：在 Shell 中，可以使用多种方法来赋值变量，包括直接赋值、使用 `read` 命令、使用命令行参数和使用命令的输出。 2. ...
awk&sed 详解
12-29
awk&sed 详解 shell awk&sed 详解 shell awk&sed 详解 shell awk&sed 详解 shell awk&sed 详解 shell awk&sed 详解 shell
SED与AWK 高清第三版
10-31
sed全称Stream Editor（流编辑器），它能逐行处理输入的数据流，支持正则表达式，常用于数据过滤、替换等任务。例如，你可以用sed快速替换文件中特定的字符串，或者提取特定模式的行。此外，sed还具有行缓冲区的概念...
sed&awk;手册
02-28
**Sed（流编辑器）** `sed`全称为Stream Editor，它可以在数据流中执行一系列预定义的编辑操作，而无需打开或修改原始文件。`sed`主要通过读取输入流、应用指定的命令，然后输出结果，实现了对文本的实时处理。 **...
awk流编辑器的使用
kele_baba
05-21 116
一.awk工作原理 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令 sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个"字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符"s&“表示"与、“II表示"或”、”!"表示"非*，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。 二.命令
文本过滤工具之AWK
weixin_34018169的博客
09-04 202
一、AWK简介 AWK三大文本处理工具之一，是一个非常强大的文本处理工具。它不仅是 Linux 中也是任何环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言（其名称来自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母）的最大功能取决于一个人所拥有的知识。AWK 提供了极其强大的功能：...
awk 工具简介NF-NR
weixin_30325971的博客
03-16 88
相较于 sed 常常作用于一整个行的处理， awk 则比较倾向于一行当中分成数个『字段』来处理。 因此，awk 相当的适合处理小型的数据数据处理呢！awk 通常运作的模式是这样的：[root@linux ~]# awk '条件类型1{动作1} 条件类型2{动作2} ...' filename awk 可以处理后续接的档案，也可以读取来自前个指令的 standard output 。 但如前面说的，...
AWK里面的NR、NF用法
热门推荐
男人十八一枝花的博客
06-14 6万+
1.NF:支持记录域个数，在记录被读之后再设置例1 [root@redhat wilsontest]# pwd /tmp/wilsontest [root@redhat wilsontest]# echo $PWD | awk -F / '{print $NF}' wilsontest 这里取得的是当前目录的最后一个文件的名字。 再如： [root@re
sed
To lose to pursue.
09-12 2338
sed对文本的处理很强大，并且sed非常小，参数少，容易掌握，他的操作方式根awk有点像。sed按顺序逐行读取文件。然后，它执行为该行指定的所有操作，并在完成请求的修改之后的内容显示出来，也可以存放到文件中。完成了一行上的所有操作之后，它读取文件的下一行，然后重复该过程直到它完成该文件。在这里要注意一点，源文件（默认地）保持不被修改。sed 默认读取整个文件并对其中的每一行进行修改。说白了就是一行
awk命令详解（一）
oldmanw的博客
11-19 4784
sed命令总结：sed命令总结 虽然sed编辑器是非常方便自动修改文本文件的工具，但其也有自身的限制。通常你需要一个用来处理文本文件中的数据的更高级工具，它能提供一个类编程环境来修改和重新组织文件中的数据，而这正式awk能够做到的。awk让流编辑迈上了一个新的台阶，它提供了一种编程语言而不只是编辑器命令。在awk中，你可以做下面的事情（awk使用的是gawk版本，相对于原版awk功能更为强大，文...
linux 中cut, sed,sort ,awk等流式处理工具
weixin_43548518的博客
02-06 489
前提:所谓linux的流处理就大概是 前一个命令结果保存在缓存区中,向水流一样供管道后面的命令使用 ** cut** cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出 1.基本用法 cut [选项参数] filename 说明：默认分隔符是制表符 2.选项参数说明 选项参数 功能 -f 列号，提取第几列 注...
linux NF NR实例,awk中使用NR和FNR的一些例子
weixin_35045973的博客
05-13 564
QUOTE:1、用某一文件的一个域替换另一个文件中的的特定域？文件passwd:s2002408030068:x:527:527::/home/dz02/s2002408030068:/bin/pws2002408032819:x:528:528::/home/dz02/s2002408032819:/bin/pws2002408032823:x:529:529::/home/dz02/s2002...
Linux流编辑器sed与awk：功能全面，必备学习资源
"sed和awk是Linux系统中两种强大的流编辑器，它们在处理文本数据时具有显著的优势，是每个系统管理员和程序员必备的工具。这两个工具在处理行级和字段级别的文本转换、查找和替换等方面表现出色，尤其适用于处理大量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值