文本处理三剑客之sed

本章内容概要

• Sed介绍
• Sed用法
• Sed高级用法

1、处理文本的工具sed

• sed：Stream EDitor, 行编辑器
    sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。然后读入下行，执行下一个循环。如果没有使诸如‘D’的特殊命令，那会在两个循环之间清空模式空间，但不会清空保留空间。这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
• 功能：主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等
• 参考：http://www.gnu.org/software/sed/manual/sed.html
  

  2、sed用法

• 用法：sed [option]... 'script' inputfile...
• 常用选项：
    -n：不输出模式空间内容到屏幕，即不自动打印
    -e：多点编辑
    -f：/PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本
    -r：支持使用扩展正则表达式
    -i.bak: 备份文件并原处编辑

示例：

[root@centos7 ~]#sed -n -e '/root/p' -e '/yuan/p'   /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
yuan:x:1000:1000:yuan:/home/yuan:/bin/bash

[root@centos7 data]#cat f1.sh
s/[[:alpha:]]/\u&/g
#该脚本是将文件中所有字母变为大写
[root@centos7 data]#sed -r -f f1.sh  /etc/issue
\S
KERNEL \R ON AN \M

'script':
  '地址命令'
注意：地址和命令分为两部分来看

• 地址定界：定义要搜索的模式空间的内容
  (1) 不给地址：对全文进行处理

  (2) 单地址：
    #: 指定的行，$：最后一行
    /pattern/：被此处模式所能够匹配到的每一行

示例：

[root@centos7 ~]#cat -n /etc/passwd | sed -n '2p'
     2  bin:x:1:1:bin:/bin:/sbin/nologin
[root@centos7 ~]#cat -n /etc/passwd | sed -n '$p'
    43  yuan:x:1000:1000:yuan:/home/yuan:/bin/bash
[root@centos7 ~]#cat -n /etc/passwd | sed -n '/root/p'
     1  root:x:0:0:root:/root:/bin/bash
    10  operator:x:11:0:operator:/root:/sbin/nologin

  (3) 地址范围：
    #,#
    #,+#
    /pat1/,/pat2/
    #,/pat1/

示例：

[root@centos7 ~]#cat -n /etc/passwd | sed -n '2,4p' 
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin

[root@centos7 ~]#cat -n /etc/passwd | sed -n '2,+3p' 
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[root@centos7 ~]#sed -n '/root/,/^f/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

[root@centos7 ~]#cat -n /etc/passwd | sed -n '5,/root/p' 
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     8  halt:x:7:0:halt:/sbin:/sbin/halt
     9  mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    10  operator:x:11:0:operator:/root:/sbin/nologin

  (4) ~：步进
    1~2 奇数行
    2~2 偶数行

示例：

[root@centos7 ~]#cat -n /etc/passwd |sed -n  '1~2p'
     1  root:x:0:0:root:/root:/bin/bash
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     9  mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    11  games:x:12:100:games:/usr/games:/sbin/nologin
    13  nobody:x:99:99:Nobody:/:/sbin/nologin
    15  dbus:x:81:81:System message bus:/:/sbin/nologin
    17  sssd:x:998:996:User for sssd:/:/sbin/nologin
    19  rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin

[root@centos7 ~]#cat -n /etc/passwd |sed -n  '2~2p'
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync
     8  halt:x:7:0:halt:/sbin:/sbin/halt
    10  operator:x:11:0:operator:/root:/sbin/nologin
    12  ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
    14  systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
    16  polkitd:x:999:998:User for polkitd:/:/sbin/nologin

练习：
1、获取ip地址所在的行
ifconfig ens33 |sed -n '/\<inet\>/p'
2、显示分区利用率所在的行
df |sed -n '/^\/dev\/sd/p'

• 编辑命令：对地址界定的内容用命令做处理
    d  删除模式空间匹配的行，并立即启用下一轮循环
    p  打印当前模式空间内容，追加到默认输出之后
    a [\]text  在指定行后面追加文本，支持使用\n实现多行追加
    i [\]text  在行前面插入文本
    c [\]text  替换行为单行或多行文本
    w /path/file  保存模式匹配的行至指定文件
    r /path/file  读取指定文件的文本至模式空间中匹配到的行后
    =  为模式空间中的行打印行号
    !  模式空间中匹配行取反处理

示例：

[root@centos7 data]#cat -n /etc/passwd | sed  '2d'
     1  ROOT:x:0:0:root:/root:/bin/bash
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync

[root@centos7 data]#cat -n /etc/passwd | sed  '2p'
     1  ROOT:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync

[root@centos7 ~]#sed  '/root/a\123\n123'  /etc/passwd
root:x:0:0:root:/root:/bin/bash
123
123
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@centos7 ~]#cat -n /etc/passwd |sed  '/root/i\1234'
1234
     1  root:x:0:0:root:/root:/bin/bash
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@centos7 ~]#cat -n /etc/passwd |sed  '/root/c\1234'
1234
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@centos7 ~]#cat -n /etc/passwd |sed  '/root/r /etc/issue'
     1  root:x:0:0:root:/root:/bin/bash
\S
Kernel \r on an \m
     2  bin:x:1:1:bin:/bin:/sbin/nologin

[root@centos7 ~]#cat -n /etc/passwd |sed  '/root/w /etc/issue'
[root@centos7 ~]#cat /etc/issue
     1  root:x:0:0:root:/root:/bin/bash

[root@centos7 ~]#sed -n '/root/=' /etc/passwd
1

[root@centos7 ~]#cat -n /etc/passwd |sed -n '/root/!p'
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4  adm:x:3:4:adm:/var/adm:/sbin/nologin
     5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6  sync:x:5:0:sync:/sbin:/bin/sync

注意事项：
sed '2-2da\ newline'
注意：a后面加\,指a\之后都是追加的内容，newline前的空格也会被加上

示例：

[root@centos7 data]#cat -n /etc/passwd |sed  '1,20anewline' 
     1  root:x:0:0:root:/root:/bin/bash
newline
     2  bin:x:1:1:bin:/bin:/sbin/nologin
newline
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
newline

[root@centos7 data]#cat -n /etc/passwd |sed  '1,20a\     newline' 
     1  root:x:0:0:root:/root:/bin/bash
     newline
     2  bin:x:1:1:bin:/bin:/sbin/nologin
     newline
     3  daemon:x:2:2:daemon:/sbin:/sbin/nologin
     newline

• s///查找替换,支持使用其它分隔符，s@@@，s###
• 替换标记：
    g  行内全局替换
    p  显示替换成功的行
    w  /PATH/FILE将替换成功的行保存至文件中

示例：

[root@centos7 ~]#sed 's/root/ROOT/g'  /etc/passwd
ROOT:x:0:0:ROOT:/ROOT:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

练习：

1、使用sed命令，在/etc/default/（centos7）grub目录中GRUB_CMDLINE_LINUX="rhgb quiet"行后添加 net.ifname=0  
参考答案：  
sed -r 's/(^.*quiet.*)"/\1 net.ifname=0"/' /etc/default/grub  
或sed -r 's/(LINUX.*)"/\1 net.ifname=0"/' /etc/default/grub   
或sed -r '/LINUX/s/"$/ net.ifname=0"/' /etc/default/grub  

2、使用sed命令，获取ip地址（centos7）  
ifconfig ens33 |sed -nr '2s/(^.*inet)(.*)(netmask.*$)/\2/p'  
或ifconfig ens33 |sed -n '2p'|sed 's/^.*inet//' |sed 's/netmask.*//'  
或ifconfig ens33 |sed -n '2p'|sed -e 's/^.*inet//' -e 's/netmask.*//'  
或ifconfig ens33 | sed '2!d;s/^.*inet//;s/netmask.*//'  

3、使用sed命令，取/etc/sysconfig/network-script/的基名    
echo "/etc/sysconfig/network-script/" |sed -r 's#(^.*/)([^/]+/?$)#\2#'  

4、使用sed命令，把/etc/httpd/conf/httpd.conf文件中<VirtualHoat *:80>到<VirttualHost>内容前的#号删除  
要更改的内容如下：  
#<VirtualHost *:80>   
#    ServerAdmin webmaster@dummy-host.example.com  
#    DocumentRoot /www/docs/dummy-host.example.com  
#    ServerName dummy-host.example.com  
#    ErrorLog logs/dummy-host.example.com-error_log  
#    CustomLog logs/dummy-host.example.com-access_log common  
#</VirtualHost>  
参考答案：  
sed '/^#<VirtualHost/,/^#<\/VirtualHost>/s/#//' /etc/httpd/conf/httpd.conf     

5、使用sed命令，在/etc/fstab目录中不以#号开头的行前面加上#号  
sed -r 's/(^[^#].*)/#\1/' /etc/fstab   在非#号开头行前加上#号  
或sed -r 's/^([^#])/#\1/' /etc/fstab   在非#号[\^#]开头的行，以#号代替[^#]  
或sed 's/^[^#]/#&/' /etc/fstab
其中，&表示模式匹配的内容是什么，&就代表什么  

6、把/etc/fstab中的字母全部变为大写  
sed -r 's/[[:alpha:]]/\u&/g'  /etc/fstab  
\u     转换为大写  
\l     转换为小写  

7、将s/[[:alpha:]]/\u&/g写入脚本sed.script，使用sed命令调用该脚本可直接将文件改为大写  
sed -f 可以调用脚本  
如：sed -r -f sed.script /etc/fstab    

8、对某目录下文件加上随机数后缀  
ls |sed "s/.*/&_$RANDOM/"  
或ls  |sed 's/.*/&_'''$RANDOM'''/'  
在sed查找替换中引用变量，要" "或使用三个单引号把变量括起来  
如 "s//$变量/"或s//'''$变量'''/  

9、删除文件中所有空行和以#开头（即注释）的行  
sed '/^$/d;/^[ ]*#/d'  file  
注意：编辑命令写在模式匹配之后，而不是在模式（即//）里面  

10、获取光盘镜像文件中rpm的cpu架构（如x86_64）分别是多少  
ls /misc/cd/Packages/| sed -r 's/.*\.([^.]+)\.rpm/\1/' |sort|uniq -c  

3、sed高级编辑命令

P：打印模式空间开端至\n内容，并追加到默认输出之前
h: 把模式空间中的内容覆盖至保持空间中
H：把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G：从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N：读取匹配到的行的下一行追加至模式空间
d: 删除模式空间中的行
D：如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本，并不会读取新的输入行，而使用合成的模式空间重新启动循环。如果模式空间不包含换行符，则会像发出d命令那样启动正常的新循环

高级用法示例：
创建f1文件

[root@centos7 ~]#seq 1 6 >f1
[root@centos7 ~]#cat f1
1
2
3
4
5
6

sed-n 'n;p' FILE

[root@centos7 ~]#sed -n 'n;p' f1
2
4
6

sed '1!G;h;$!d' FILE

[root@centos7 ~]#sed '1!G;h;$!d' f1
6
5
4
3
2
1

sed 'N;D' FILE

[root@centos7 ~]#sed 'N;D' f1
6

sed '$!N;$!D' FILE

[root@centos7 ~]#sed '$!N;$!D' f1
5
6

sed '$!d' FILE

[root@centos7 ~]#sed '$!d' f1
6

练习：

1、删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符  
cat /etc/grub2.cfg |sed -r '/^[[:space:]]+/d'  
2、删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符  
sed -r 's/(^#[[:space:]]+)(.*)/\2/' /etc/fstab  
3、在centos6系统/root/install.log每一行行首增加#号  
cat /root/install.log|sed -r 's/(^.*)/#\1/'  
4、在/etc/fstab文件中不以#开头的行的行首增加#号  
cat /etc/fstab |sed -r 's/^([^#])/#\1/'  
或cat /etc/fstab |sed -r 's/^[^#]/#&/'  
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名  
sed -r 's/^([^#])/#\1/' /etc/fstab  
或sed -r 's/^[^#]/#&/' /etc/fstab  
6、利用sed取出ifconfig命令中本机的IPv4地址   
centos7系统：  
ifconfig ens33 |sed -n '2p'|sed -r 's/(^.*inet)(.*)(netmask.*)/\2/'  
centos6系统：  
ifconfig eth0 |sed -n '2p'|sed -r 's/(^.*inet addr:)(.*)(Bcast.*)/\2/'    
7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数  
ls  /misc/cd/Packages/ |sed -r 's/.*\.([^.]+)\.rpm$/\1/'|sort|uniq -c  
8、统计/etc/init.d/functions文件中每个单词的出现次数，并排序（用grep和sed两种方法分别实现）  
cat /etc/init.d/functions |egrep -o  "\<[[:alpha:]]+\>"|sort|uniq -c|sort -nr  
或sed -r 's/[^[:alpha:]]/\n/g' /etc/init.d/functions |sort|uniq -c|sort -nr      
思路：取反，把除了单词外的字符换成换行符\n  
9、将文本文件的n和n+1行合并为一行，n为奇数行  
cat -n /etc/passwd |sed -n '1~2p;N'