1、sed
linux文本三剑客：sed、grep、awk
（1）sed编辑器
sed编辑器
sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。
sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。
（2）sed的执行过程
读取 目标文件 的每行数据依次加入到缓冲区（模式空间）里，默认从第一行开始读取
执行 使用定义的增删改查命令来处理读取到缓冲区行数据
显示 将处理后的行数据输出到屏幕显示
在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。
注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。
（3）sed命令
格式：sed 选项 文件名
常用选项：
-e 或--expression=：表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用
-f 或--file=：表示用指定的脚本文件来处理输入的文本文件。
-h 或--help：显示帮助。
-n、--quiet 或 silent：禁止sed编辑器输出，但可以与p命令一起使用完成输出。
-i：直接修改目标文本文件。常用操作：
s：替换，替换指定字符。
d：删除，删除选定的行。
a：增加，在当前行下面增加一行指定内容。
i：插入，在选定行上面插入一行指定内容。
c：替换，将选定行替换为指定内容。
y：字符转换，转换前后的字符长度必须相同。
p：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
=：打印行号。
l(小写L)：打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t）
sed -e '操作命令' 目标文件 .... #在命令行指定操作命令处理文件行数据
在一个脚本文件里定义操作命令
sed -f 脚本文件 目标文件 .... #使用指定脚本文件里的操作命令处理文件行数据sed -i #直接根据操作命令修改原文件行数据
sed -e '删操作' -e '查操作' 目标文件
sed -e '{
删操作
查操作
}' 目标文件
sed -n -e '2,${n;p}' test1.txt
第一次过程 读取 第二行 执行 先n 跳到下一行 （第三行） 再p 打印第三行内容
第二次过程 读取 第四行 执行 先n 跳到下一行 （第五行） 再p 打印第五行内容
第三次过程 读取 第六行 执行 先n 跳到下一行 （第七行） 再p 打印第七行内容
1）打印内容 p
打印内容 p（打印行内容） =（打印行号） l（打印ASCII字符）
sed -n -e '行号p' #根据行号进行打印
sed -n -e '起始行号,终止行号p' #根据行区间进行打印
sed -n -e '/字符串/p' #根据字符串匹配行进行打印
sed -n -r -e '/正则表达式/p' #根据正则表达式匹配行进行打印，-r用于支持扩展正则元字符
sed -n -e '1~2p' #从第一行开始每隔2行查看
2）删除 d
sed -e '行号区间d'
sed -e '/字符串/d'
sed -r -e '/正则表达式/d'3）替换 s（字符串替换） c（整行内容替换） y（对应字符替换）
sed -e '行号区间 s/old/new/g' sed -n -e '行号区间 s/old/new/gp' #打印被修改的行 sed -e '行号区间 s/old/new/gw 保存文件' #保存被修改的行
sed -e '/字符串/ s/old/new/g'
sed -r -e '/正则表达式/ s/old/new/g'
sed -r -e 's/(xxx)(xxx)(xxx)/\3\2\1/'
4）注释行
sed -i 's/.*XXX.*/#&/'
'行号 s/^/#/'
sed -e '行号c 新行内容'
sed -e '/字符串/c 新行内容'
sed -e 'y/旧字符/新字符/' #注：新字符和旧字符的长度要一致5）插入 a（在指定行下面插入行内容） i（在指定行上面插入行内容） r（在指定行下面插入整个文件内容）
sed -e '行号区间a 行内容'
sed -r -e '/字符串或正则/a 行内容'
sed -e '行号区间i 行内容'
sed -r -e '/字符串或正则/i 行内容'
sed -e '行号区间r 文件'
6）复制粘贴 H（复制指定行到剪切板） G（将剪切板内容粘贴到指定行下面）
sed -e '1,3H;$G' #将1-3行内容复制粘贴到最后一行下面
sed -e '1,3{H;d};$G' #将1-3行内容剪切粘贴到最后一行下面
（4）使用sed一键部署DNS和PXE
DNS
#!/bin/bash
if ! df | grep "^/dev/sr0" >& /dev/null;then
mount /dev/sr0 /mnt
fi
systemctl stop firewalld
setenforce 0
yum -y install bind &> /dev/null
sed -i -e '13c listen-on port 53 { any; }; ' /etc/named.conf
sed -i -r 's/.*v6.*/#&/' /etc/named.conf
sed -i -e '21c allow-query { any;}; ' /etc/named.conf
sed -i -e '{
13c zone "zx.com" IN {
15c file "zx.com.zone";
16 s/^/#/
}' /etc/named.rfc1912.zones
sed -e '{
2c @ IN SOA zx.com. admin.zx.com. (
8s/@/zx.com./
9s/127.0.0.1/ 20.0.0.30/
10c www IN A 20.0.0.10
}' /var/named/named.localhost > /var/named/zx.com.zone
systemctl start named
PXE
#!/bin/bash
if ! df | grep "^/dev/sr0" >& /dev/null;then
mount /dev/sr0 /mnt >& /dev/null
fi
systemctl stop firewalld
setenforce 0
yum -y install xinetd tftp-server dhcp syslinux vsftpd >& /dev/null
sed -i -e '{
10s/yes/no/
14s/yes/no/
}' /etc/xinetd.d/tftp
\cp -f /usr/share/doc/dhcp-4.2.5/dhcpd.conf.example /etc/dhcp/dhcpd.conf
sed -i -e '{
7s/^/#/
8s/^/#/
14s/#//
14a next-server 20.0.0.30;
14a filename "pxelinux.0";
32c subnet 20.0.0.0 netmask 255.255.255.0 {
33c range 20.0.0.100 20.0.0.200;
34c option routers 20.0.0.30;
}' /etc/dhcp/dhcpd.conf
cp /usr/share/syslinux/pxelinux.0 /var/lib/tftpboot/
cd /mnt/images/pxeboot/
cp vmlinuz initrd.img /var/lib/tftpboot/
mkdir /var/ftp/centos7 >& /dev/null
umount -lf /mnt
mount /dev/sr0 /var/ftp/centos7 >& /dev/null
cd /var/lib/tftpboot
mkdir pxelinux.cfg >& /dev/null
cd pxelinux.cfg
touch default
echo '
default auto
prompt 1
label auto
kernel vmlinuz
append initrd=initrd.img method=ftp://20.0.0.30/centos7
label text
kernel vmlinuz
append initrd=initrd.img method=ftp://20.0.0.30/centos7
label rescue
kernel vmlinuz
append initrd=initrd.img method=ftp://20.0.0.30/centos7' > default
systemctl enable --now tftp xinetd dhcpd vsftpd
2、awk
（1）工作原理
逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
（2）awk命令
命令格式：
awk 选项 '模式或条件 {操作}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …awk常见的内建变量（可直接用）如下所示：
FS：列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
NF：当前处理的行的字段个数。
NR：当前处理的行的行号（序数）。
$0：当前处理的行的整行内容。
$n：当前处理行的第n个字段（第n列）。
FILENAME：被处理的文件名。
RS：行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是'\n'
awk -F '字段分隔符' '条件表达式 {操作}' 文件
awk -F '字段分隔符' '条件{print NR; print $0}' 文件 #换行输出行号和行内容
awk -F '字段分隔符' '条件{print NR} 条件{print $0}' 文件
awk -F '字段分隔符' '条件{print NR,$0}' 文件 #同行输出行号和行内容
awk -F '字段分隔符' 'NR==n {print $0}' #输出 第n行的 整行内容
awk -F '字段分隔符' 'NR==n {print $1}' #输出 第n行的 第一个字段的内容
awk -F '字段分隔符' 'NR==n {print $1,$NF}' #输出 第n行的 第一个字段和最后一个字段的内容
awk -F '字段分隔符' 'NR==n,NR==M {print $1}' #输出 第n行到第m行的 第一个字段的内容
awk -F '字段分隔符' 'NR>=n&&NR<=M {print $1}'
awk -F '字段分隔符' 'NR==n||NR==M {print $1}' #输出 第n行和第m行的 第一个字段的内容
awk -F '字段分隔符' '/字符串/ {print $1}' #输出 包含指定字符串的行的 第一个字段的内容
awk -F '字段分隔符' '/正则表达式/ {print $1}' #输出 匹配正则表达式的行的 第一个字段的内容
awk -F '字段分隔符' '$1>=n {print $0}' #输出 第一个字段的数值大于等于n的 整行内容
== != >= > <= <
awk -F '字段分隔符' '$1~"字符串" {print $0}' #输出 第一个字段包含指定字符串的 整行内容
~(包含) !~(不包含) ==(等于) !=(不等于)free | awk '/Mem:/{print int($3/$2*100)"%"}' #内存使用率
top -b -n1 | awk -F, '/%Cpu\(s\)/{print $4}' | awk '{print 100-$1"%"}' #CPU使用率
df | grep -w "/" | awk '{print $5}' | awk -F% '{print $1}' #磁盘分区容量使用率
awk '(NR%2)==1 {print $0}' #输出奇数行
awk '{print $0; getline}'
sed -n 'p; n'
awk '(NR%2)==0 {print $0}' #输出偶数行
awk '{getline; print $0}'
sed -n 'n; p'
awk 'BEGIN {...}; 条件{...}; END {...}' 文件
BEGIN {...} 表示处理文件前要执行的操作
条件{...} 表示对匹配满足指定条件的文件行内容要执行的操作
END {...} 表示处理完文件所有行内容后要执行的操作
awk -F '字段分隔符' 'BEGIN{OFS="输出的字段分隔符"}; {$1=$1; print $0}' #修改字段分隔符
awk '{控制语句条件 {操作}}' 文件
awk 'if(条件表达式) {操作}' 文件 #行内容满足if的条件则执行操作
awk '变量=条件表达式?值1:值2; {操作}' 文件 #行内容是否条件表达式，如果条件成立则变量取值1，条件不成立则变量取值2
awk 'BEGIN{执行循环前的操作; while("命令" | getline) 每次循环的操作; 执行循环完后的操作}' #使用while循环对每行内容执行操作
awk '/Failed password/{a[$11]++}; END{for(i in a) {print i, a[i]}}' /var/log/secure #通过awk数组统计日志文件里IP出现的次数
awk '/Failed password/{a[$11]++}; END{for(i in a) if(a[i]>5){print "sshd:"i}}' /var/log/secure >> /etc/hosts.deny #将出现超过5次的IP导入到黑名单里
扫一扫
133
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
