手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Shell编程三剑客grep、sed和awk详解

[日期:2019-08-16] 来源:Linux社区  作者:筱振 [字体: ]

在Linux/UNIX系统中包含很多文本处理器或文本编辑器,其中grep、sed和awk是shell编程中经常用到的文本处理工具,因此,被业内的人广泛的称之为“shell编程三剑客”

grep命令工具

grep命令工具,在日常生活中,会经常用到,这里也就不多说了,如果有不明白的朋友,请参考博文:Shell脚本应用之正则表达式详解,里面详细介绍了grep命令的相关参数及使用,

sed命令工具

sed是一个强大而简单的文本解析转换工具,可以读取文本,并根据指定的条件对文本内容进行编辑,最后输出所有行活仅输出处理的某些行,sed可以在无交互的情况下实现相当复杂的文本处理操作。被广泛的应用于shell脚本中,用于完成各种自动化处理任务。

sed的工作流程主要包括:
1. 读取:sed从输入流中读取一行内容不能够存储到临时的缓冲区中;
2. 执行:默认情况下所有的sed命令都在模式空间中按顺序地执行,除非指定了行的地址,否则sed命令将会再所有行上依次执行;
3. 显示:发送修改后的内容到输出流,再发送数据后,模式空间将会被清空。
注意:在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容都被处理完。

1)sed命令的语法及相关参数:

sed [选项] '操作'  参数
或
sed [选项] -f scriptfile 参数

常见的sed命令选项的主要参数:
Shell编程三剑客详解
如果要求在第几行到第几行之间进行修改等,常见的操作参数包括:
Shell编程三剑客详解

2)sed命令用法示例(注意以下操作不会改变文件本身内容,如果需要修改必须带“-i”选项)

1.输出符合条件的文本
[root@localhost ~]# sed -n 'p' test.txt 
//输出所有内容,等同于“cat test.txt”

Shell编程三剑客详解

[root@localhost ~]# sed -n '3p' test.txt 
//输出第三行内容

Shell编程三剑客详解

[root@localhost ~]# sed -n '3,5p' test.txt 
//输出3~5行

Shell编程三剑客详解

[root@localhost ~]# sed -n 'p;n' test.txt
//输出所有奇数行,n表示读入下一行数据

Shell编程三剑客详解

[root@localhost ~]# sed -n 'n;p' test.txt 
//输出所有偶数行,n表示读入下一行数据

Shell编程三剑客详解

[root@localhost ~]# sed -n '1,5{p;n}' test.txt 
//输出第1行~第5行之间的奇数行(第1、3、5行)

Shell编程三剑客详解

[root@localhost ~]# sed -n '10,${n;p}' test.txt
//输出第10行至文件尾部之间的偶数行(包括空行)

Shell编程三剑客详解

sed命令与正则表达式结合使用的案例
sed命令结合正则表达式时,格式略微有些不同,正则表达式以“/”包围

[root@localhost ~]# sed -n '/the/p' test.txt
//输出包含“the”的行

Shell编程三剑客详解

[root@localhost ~]# sed -n '4,/the/p' test.txt
//输出从第4行到都第一个包含“the”的行

Shell编程三剑客详解

[root@localhost ~]# sed -n '/the/=' test.txt
//输出包含“the”的行所在的行号(等号(=)用来输出行号)

Shell编程三剑客详解

[root@localhost ~]# sed -n '/^PI/p' test.txt
//输出以“PI”开头的行

Shell编程三剑客详解

[root@localhost ~]# sed -n '/\<wood\>/p' test.txt 
//输出包含单词wood的行,\<、\>代表单词边界

Shell编程三剑客详解

2.删除符合条件的文本

nl命令用于计算文件的行数

[root@localhost ~]# nl test.txt | sed '3d'
//删除第3行

Shell编程三剑客详解

[root@localhost ~]# nl test.txt | sed '3,5d'
//删除第3~5行

Shell编程三剑客详解

[root@localhost ~]# nl test.txt | sed '/cross/d'
//删除包含cross的行,原本的第8行被删除

Shell编程三剑客详解

[root@localhost ~]# nl test.txt | sed '/cross/! d'
//删除不包含cross的行

Shell编程三剑客详解

[root@localhost ~]# sed '/\.$/d' test.txt 
//删除以“.”结束的行
[root@localhost ~]# sed '/^$/d' test.txt 
//删除所有空行
[root@localhost ~]# sed -e '/^$/{n;/^$/d}' test.txt
//删除空行,连续的空行留一个
3.替换符合条件的文本

使用sed命令进行替换操作时需要用到的选项:s(字符串替换)、c(整行/整块替换)、y(字符转换)等命令选项。由于测试文件不符合要求,以下就不截图了。

[root@localhost ~]# sed 's/the/THE/' test.txt
//将每行中的第一个the替换为THE
[root@localhost ~]# sed 's/l/L/2' test.txt
//将每行中的第三个“l”替换为“L”
[root@localhost ~]# sed 's/the/THE/g' test.txt 
//将文件中所有的“the”替换为“THE”
[root@localhost ~]# sed 's/o//g' test.txt 
//将文件中所有的“o”删除
[root@localhost ~]# sed 's/^/#/' test.txt 
//在每行的行首插入“#”号
[root@localhost ~]# sed '/the/s/^/#/' test.txt 
//在包含“the”的每行行首插入“#”号
[root@localhost ~]# sed 's/$/EOF/' test.txt 
//在每行行尾插入字符串“EOF”
[root@localhost ~]# sed '3,5s/the/THE/g' test.txt 
//将第3~5行中的所有“the”替换为“THE”
[root@localhost ~]# sed '/the/s/o/O/g' test.txt 
//将包含“the”的所有行中的o替换为“O”

以上“sed -i”的命令则是立即生效的!

[root@localhost ~]# sed -i '1c 1111' a.txt 
//替换文中第一行的内容为“1111”
[root@localhost ~]# sed -i '1a 1111' a.txt 
//在第一行后面插入一行内容,内容为“1111”
[root@localhost ~]# sed -i '1i 2222' a.txt
//在第一行前面插入一行内容,内容为“2222”
[root@localhost ~]# sed -i '1d' a.txt
//删除第一行内容
[root@localhost ~]# sed -n '1p' a.txt
//打印出第一行的内容
[root@localhost ~]# sed -i '1s/2222/3333/g' a.txt 
//将文本第一行内容“2222”替换为“3333”
4.迁移符合条件的文本

使用sed命令进行迁移文本操作时需要用到的选项有:g、G将剪贴板中的数据覆盖/追加到指定行;w保存为文件;r读取指定文件;a追加指定内容。

[root@localhost ~]# sed '/the/{H;d};$G' test.txt 
//将包含“the”的行迁移到文件末尾,“;”用于多个操作
[root@localhost ~]# sed '1,5{H;d};17G' test.txt 
//将第1~5行的内容转移到第17行后
[root@localhost ~]# sed '/the/w out.file' test.txt 
//将包含“the”的行另存为文件out.file
[root@localhost ~]# sed '/the/r /etc/hostname' test.txt 
//将文件/etc/hostname的内容添加到包含“the”的每行以后
[root@localhost ~]# sed '3aNEW' test.txt 
//在第3行后面插入一个新行,内容为“NEW”
[root@localhost ~]# sed '/the/aNEW' test.txt 
//在包含“the”的每行后插入一个新行,内容为“NEW”
[root@localhost ~]# sed '3aNEW1\nNEW2' test.txt
//在第3行后面多行内容,中间的“\n”表示换行
5.使用脚本编辑文件

使用sed脚本,将编辑指令存放到文件中(每行一条标记指令),通过“-f”选项来调用。

[root@localhost ~]# sed '1,5{H;d};17G' test.txt
//将第1~5行内容转移至第17行后

Shell编程三剑客详解
以上操作转换为脚本文件方式:

[root@localhost ~]# vim 1.list
1,5H
1,5d
17G
[root@localhost ~]# sed -f 1.list test.txt

Shell编程三剑客详解

6.sed直接操作文件示例

编写一个脚本,用来调整vsftpd服务配置:禁止匿名用户,但允许本地用户(也允许写入)登录。

[root@localhost ~]# vim local_only_ftp.sh
#!/bin/bash
S="/usr/share/doc/vsftpd-3.0.2/EXAMPLE/INSERNET_SITE/vsftpd.conf"
C="/etc/vsftpd/vsftpd.conf"
#指定样本文件路径、配置文件路径
[ ! -e "$C.bak" ] && cp $C $C.bak
#备份原来的配置文件,检测(配置文件.bak)是否存在,如果不存在则使用cp命令复制
sed -e '/^anonymous_enable/s/YES/NO/g' $S > $C
sed -i -e '/^local_enable/s/NO/YES/g' -e '/^write_enable/s/NO/YES/g' $C
grep "listen" $C || sed -i '$alisten=YES' $A
#基于样本配置进行调整,覆盖现有文件
systemctl restart vsftpd
systemctl enable vsftpd
#重启ftp服务,并设置为开机自启动

awk命令工具

在Linux/UNIX系统中,awk是一个功能强��的编辑工具,逐行读取输入文本,并根据指定的匹配模式进行查找,对符合条件的内容进行格式化输出或者过滤处理,可以在无交互的情况下实现相当复杂的文本操作,被广泛应用于Shell脚本,完成各种自动化配置任务。

1.awk命令的语法及概述
awk 选项  '模式或条件 { 编辑指令 }' 文件1 文件2 …  
//过滤并输出文件符合条件的内容
awk  -f  脚本文件 文件1 文件2 …
//从脚本中调用编辑指令,过滤并输出内容

*awk执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”和“||”;
也可以进行简单的数学运算,如+ 、-、
、/、%、^分别表示加、减、乘、除、取余、乘方。**

awk从输入文件或者标准输入中读入信息,与sed一样,信息的读入也是逐行读取的。不同的是,awk命令将文本文件中的一行视为一个记录,而将一行中的某一部分(列)作为记录的一个字段。为了操作这些不同的字段(列),awk借用shell中类似于位置变量的方法,用$1、$2…$9顺序的表示不同列,$0表示整行。不同字段与不同字段可以通过指定的方式进行分隔,awk默认的分隔符是空格。awk命令允许使用“-F分隔符”的形式来指定分隔符。

awk命令对/etc/passwd文件的处理过程如图:
Shell编程三剑客详解

awk包含几个特殊的内建变量,如:
Shell编程三剑客详解

2.awk命令用法示例
1)按行输出文本
[root@localhost ~]# awk '{print}' test.txt 
//输出所有内容,等同于“cat test.txt”
[root@localhost ~]# awk '{print $0}' test.txt
//输出所有内容,等同于“cat test.txt”
[root@localhost ~]# awk 'NR==1,NR==3{print}' test.txt 
//输出第1~3行的内容
[root@localhost ~]# awk '(NR>=1) && (NR<=3) {print}' test.txt 
//输出第1~3行的内容
[root@localhost ~]# awk 'NR==1 || NR==3{print}' test.txt 
//输出第1行、第3行的内容
[root@localhost ~]# awk '(NR%2)==1 {print}' test.txt 
//输出所有奇数行的内容
[root@localhost ~]# awk '(NR%2)==0 {print}' test.txt 
//输出所有偶数行的内容
[root@localhost ~]# awk '/^root/{print}' /etc/passwd
//输出以“root”开头的行
[root@localhost ~]# awk '/nologin$/{print}' /etc/passwd
//输出以“nologin”结尾的行
[root@localhost ~]# awk 'BEGIN {x=0} ;/\/bin\/bash$/{x++};END {print x}' /etc/passwd
//统计以/bin/bash结尾的行数
[root@localhost ~]# grep -c "/bin/bash$" /etc/passwd
//统计以/bin/bash结尾的行数
[root@localhost ~]# awk 'BEGIN{RS=""}; END{print NR}' /etc/squid/squid.conf
//统计以空格分隔的文件段落数

注意:命令较多时,使用“BEGIN……END”

2)按字段输出文本
[root@localhost ~]# awk '{print $3}' test.txt 
//输出每行中(以空格分隔)的第3个字段
[root@localhost ~]# awk '{print $1,$3}' test.txt 
//输出每行中(以空格分隔)的第1个和第3个字段
[root@localhost ~]# awk -F ":" '$2==""{print}' /etc/shadow
//输出/etc/shadow文件中(以“:”分隔)的第二个字段(密码为空的用户)
[root@localhost ~]# awk 'BEGIN {FS=":"}; $2=""{print}' /etc/shadow
//输出/etc/shadow文件中(以“:”分隔)的第二个字段(密码为空的用户)
[root@localhost ~]# awk -F ":" '$7~"/bash"{print $1}' /etc/passwd
//输出以“:”分隔且第7个字段中包含“/bash”的行的第1个字段
[root@localhost ~]# awk '($1~"nfs") && (NF==8) {print $1,$2}' /etc/services
//输出包含8个字段且第1个字段中包含“nfs”的行的第1、2个字段
[root@localhost ~]# awk -F ":" '($7!="/bin/bash") && ($7!="/sbin/nologin") {print}' /etc/passwd
//输出第7个字段既不为“/bin/bash”也不为“/bin/nologin”的所有行
3)通过管道,双引号调用Shell命令

[root@localhost ~]# awk -F: '/bash$/{print | "wc -l"}' /etc/passwd
//调用“wc -l”命令统计使用“bash”的用户个数
[root@localhost ~]# grep -c "bash$" /etc/passwd
//同上一条命令一样的作用
[root@localhost ~]# awk 'BEGIN {while ("w" | getline) n++ ; {print n-2}}'
//调用“w”命令,并用力啊统计在线用户数
[root@localhost ~]# awk 'BEGIN { "hostname" | getline ; print $0}'
//调用“hostname”命令,并输出当前用户名

4)使用awk命令进行简单的数学运算
[root@localhost ~]# awk 'BEGIN{ a=6;b=3;print"(a + b)=",(a + b)}'
(a + b)= 9
[root@localhost ~]# awk 'BEGIN{ a=6;b=3;print"(a - b)=",(a - b)}'
(a - b)= 3
[root@localhost ~]# awk 'BEGIN{ a=6;b=3;print"(a / b)=",(a / b)}'
(a / b)= 2
[root@localhost ~]# awk 'BEGIN{ a=6;b=3;print"(a % b)=",(a % b)}'
(a % b)= 0

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2019-08/160121.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款