Shell脚本之文本处理三剑客-sed

亐㔓z.

已于 2024-05-21 17:05:28 修改

阅读量525

点赞数 15

文章标签：服务器运维

于 2024-05-21 17:01:03 首次发布

本文链接：https://blog.csdn.net/zjymybaby/article/details/139097229

版权

3.2 插入空行，修改文件的换行，要多加一个\

一、sed基本介绍

1.sed是什么？

sed编辑器时一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。
sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要存储在一个命令文本文件中。

2.sed编辑器的工作流程

sed 的工作流程主要包括读取、执行和显示三个过程:

读取: sed从输入流（文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space )
执行：默认情况下，所有的sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行
显示:发送修改后的内容到输出流(屏幕)。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上.述过程将重复执行，直至所有内容被处理完

在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

注意:默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出或者sed -i。

3.sed命令的格式

第一种：
sed -e '操作' 文件1 文件2
 
第二种：
sed -n -e '操作' 文件1 文件2 
 
第三种：
sed -f 脚本文件 文件1 文件2 
 
第四种：
sed -i -e '操作' 文件1 文件2

二.常用选项

-n：不输出模式空间内容，即不自动打印，加p恢复自动打印
-e：多点编辑
-f：从指定文件中读取编辑脚本
-r -E：使用扩展正则表达式
-i：备份文件并原处编辑

三.常用操作

s：替换，替换指定字符
d：删除，删除选定的行
a：增加，在当前行下面增加一行指定内容
i：插入，在选定行上面插入一行指定内容
c：替换，将选定行替换为指定内容
Y：字符转换，转换前后的字符长度必须相同
p：打印，如果同时指定行，表示打印指定行;如果不指定行，则表示打印所有内容;如果有非打印字符，则以ASCII码输出。其通常与"-n"选项一起使用。
=：打印行号
l(小写L)：打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t）

四.使用示例

1.打印内容

1.1 打印全部内容

sed ' '      #交互模式输入一行，自动打印一行相同的
 
sed -n ' '   #交互模式输入一行，关闭自动打印
 
sed -n ' p'  #加上p又恢复自动打印，与sed ' '相同

1.2 查看文件，打印全部内容

sed ' ' /文件位置
 
sed -n ' p' /文件位置

1.3 打印指定行内容

sed -n '4p' /文件位置
#打印第四行内容

1.4 打印指定多行内容

ifconfig ens33 |sed -n '2,4p'
#打印网卡信息的2至4行
 
cat -n /etc/passwd |sed -n '2,+4p'
#打印第2至6行，即第二行开始往后四行

1.5 打印多行后退出

sed  '3q' /文件位置
#打印三行后退出

1.6 打印最后一行，使用通配符$

sed -n '$p' /文件配置

1.7 支持正则表达式，打印范围内容

sed -n '//,//p' 文件名
#第一个//表示开头位置，第二个//表示结尾位置
 
sed -n '/^r/,/^f/p' /文件地址
#以r开头 f开头结尾 第二轮以r开头 后面没有以f开头结尾 则显示全部

2.删除内容

2.1 删除指定行

#删除指定行并不是真正删除，只是将删除了的结果显示出来，并不是真正删除了
cat 文件名称 |sed '3d'
#删除第三行并显示出来

2.2 删除指定的多行

sed '2,4d' 文件名称
#删除连续的2到4行

2.3 删除文本中的空行

sed '/^$/d' /文件名称

2.4 删除以指定字符结尾的行及取反

sed '/nologin$/!d' /文件地址
#删除不是以nologin结尾的行

2.5 先备份内容再删除

sed -i.bak '3d' 文件名称
#原文件删除第三行，并原文备份

3.插入内容

3.1 在指定行后插入

sed -i '2a 插入的内容' 文件名称
#在第二行后插入内容

3.2 插入空行，修改文件的换行，要多加一个\

sed -i '2a\\n 插入的内容' 文件名称

4.替换行内容

sed -i '2ctihuan' 文件名称
#将第二行的内容替换成tihuan

5.取反（使用感叹号!）

seq 10|sed -n '2!p'
#不显示第二行

6. 搜索替代

格式：格式：sed 行范围 s/旧字符串/新字符串/替换标记

替换标记：

数字：表明新字符串将替换第几处匹配的地方
g ：表明新字符串将会替换所有匹配的地方
p ：打印与替换命令匹配的行，与 -n 一起使用
w 文件：将替换的结果写到文件中

7.分组调用

7.1 调用分组段

#分组使用（）（），调用第一段使用\1
echo 11aaxx |sed -r 's/(11)(aa)(xx)/\1/'
 
#调用第2个分组
echo 11aaxx |sed -r 's/(11)(aa)(xx)/\2/'
 
#调用所有分组
echo 11aaxx |sed -r 's/(11)(aa)(xx)/\1\2\3/'

Shell脚本之文本处理三剑客-awk

一、awk基本介绍

1.awk基本介绍

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具

可以在无交互的模式下实现复杂的文本操作

相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。

之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

2.基本格式

awk [选项] ‘模式条件{操作}’ 文件1 文件2...
awk -f|-v 脚本文件 文件1 文件.....

3.工作原理

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个"字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑操作符"&&“表示"与”、"“表示"或”、"!“表示"非”;还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

4.常见的内建变量（可直接用）

FS∶ 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同

NF∶ 当前处理的行的字段个数。

NR∶ 当前处理的行的行号（序数）。

$0∶当前处理的行的整行内容。

$n∶ 当前处理行的第n个字段（第n列）。

FILENAME∶ 被处理的文件名。

RS∶ 行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’

$NF：最后一段

$(NF-1)：倒数第二段

亐㔓z.

关注

15
点赞
踩
13

收藏

觉得还不错? 一键收藏
1
评论
Shell脚本之文本处理三剑客-sed

sed编辑器时一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要存储在一个命令文本文件中。AWK 是一种处理文本文件的语言，是一个强大的文本分析工具可以在无交互的模式下实现复杂的文本操作相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据。
复制链接

扫一扫