meisw's blog

Sed(a stream editor)
4个空间:input stream, pattern buffer, output stream和hold buffer
基本操作过程是:
(1).将input stream的当前行放入pattern buffer,然后input stream的指针指向下一行;
(2).对pattern buffer中的行进行处理;
(3).将2的处理结果放入output stream.然后循环这个过程.

hold buffer是另一个空间,可以通过命令和pattern buffer进行交互.

sed命令介绍

1. 基本命令---"替换": s
  1.1 基本用法
  e.g. sed 's/day/night/' <old >new
  该例子将文件old中的每一行第一次出现的day替换成night,将结果输出到文件new
  s            "替换"命令
  /../../      分割符(Delimiter)
  day          搜索字符串
  night        替换字符串

  其实,分割符"/"可以用别的符号代替,比如",", "|"等.
  e.g. sed 's/\/usr\/local\/bin/\/common\/bin/'<old >new
  等价于sed 's_/usr/local/bin_/common/bin_' <old >new
  显然,此时用"_"作分割符比"/"好得多.


  1.2 用&表示匹配的字符串

  有时可能会想在匹配到的字符串周围或附近加上一些字符.
  e.g. sed 's/abc/(abc)/' <old >new
  该例子在找到的abc前后加上括号.
  该例子还可以写成 sed 's/abc/(&)/' <old >new
  下面是更复杂的例子:
  sed 's/[a-z]*/(&)/' <old >new
  sed 's/[0-9]*/& &/' <old >new

  1.3 用\1, \2, ..., \9来表示匹配的字符串

  e.g. sed 's/\([a-z]*\)[0-9]*/\1/' <old >new
  本例中\1就是指前面的\([a-z]*\)

  sed 's/\([a-z]*\) \([0-9]*\)/\2 \1/' <old >new
  本例中\2和\1分别代表前面的\([0-9]*\)和\([a-z]*\)

  \1, \2, ..., \9也可以出现在搜索字符串中
  e.g. sed 's/\([a-z]*\) \1/\1/' <old >new
  本例可以去除重复的由字母组成的词

  1.4 "替换"选项
      1.4.1 /g 替换所有的
      sed默认只替换搜索字符串的第一次出现,利用/g可以替换搜索字符串所有
      出现的地方.例如,
      sed 's/\([^ ]*\)/(&)/g' <old >new

      1.4.2 用/1, /2, ...来表明替换哪一次出现
      e.g. sed 's/[^ ]*//2' <old >new
      可以从/1用到/512

      1.4.3 /p print选项
      当sed命令有-n选项时,该命令没用输出.
      -n配合/p选项后,如果该行确实发生了替换,则输出该行,否则不输出.

      1.4.4 /w filename 写到文件filename中
      e.g. sed 's/\([0-9]*\) \([a-z]*\)/\2/w new' <old
      该例子把输出放入文件new中

  1.5 替换和插入换行符号
  替换 (echo a;echo x;echo y) | sed '/x$/ {
       N
       s:x\n:x:
       }'

  插入
       (echo a;echo x;echo y) | sed 's:x:X\
       :'



2. 只对特定行的处理

  2.1 通过行号限定
  sed '3 s/[0-9][0-9]*//' <old >new 只处理第3行

  sed '1,100 s/A/a/' <old >new 只处理1到100行

  sed '101,$ s/A/a/' <old >new 处理101到文件的最后一行

  sed '101,$ !s/A/a/' <old >new 这里!表示只对1到100行进行替换,!的作用是取反


  2.2 通过正规表达式限定
  sed '/start/,/stop/ s/#.*//' <old >new
  本例中,sed先找到有start的行作为开始,找到最近的有stop的行作为结束,对之
  间的行进行操作.
  重复上述过程,直到文件结束

  下面这个例子是行号和正规表达式配合来限定
  sed '1,/start/ s/#.*//' <old >new 对第1行到含有start的行进行处理


3. 其他的简单命令
  3.1 删除命令 d
  sed '11,$ d' <old >new 删除从11行到文件末尾
  sed '/^#/ d' <old >new 删除所有以#开始的行

  3.2 print命令 p (注意与s命令的/p选项的区别)
  sed 'p' <old    每一行将会被输出两次
  sed -n 'p' <old 每一行将会输出一次(-n屏蔽掉一次)
  sed '/^$/ p' <old 只对空行输出两次,其他只输出一次
  sed -n '1,10 p' <old 输出前10行
  sed -n '/match/ p' <old 输出含有match的行

  3.3 quit命令 q
  sed '11 q'<old    输出前10行(在第11行退出)
  注意:q命令不能接收多行,例如
  sed '2,5 q'<old 是不正确的

  3.4 写入文件命令 w filename(注意与s命令的/w选项的区别)
  把某些行写入文件filename
  sed -n '/^[0-9]*[02468]/ w even' <old    将以偶数开始的行写入文件even

  3.5 输出行号命令 =
  sed -n '/PATTERN/ =' <old 遇到含有PATTERN的行时,同时输出行号

  3.6 追加,改变,插入新行
  追加命令 a
  #!/bin/sh
  sed '
  /WORD/ a\
  Add this line after every line with WORD
  '

  改变命令 c
  #!/bin/sh
  sed '
  /WORD/ c\
  Replace the current line with the line
  '

  插入命令 i
  #!/bin/sh
  sed '
  /WORD/ i\
  Add this line before every line with WORD
  '

  3.7 变换命令 y
  sed 'y/abcdef/ABCDEF/' <old  该例将字符abcdef分别变成大写

  3.8 将本行的控制符也显示出来的命令 l
  sed '1,10 l' <old

  3.9 d命令和D命令
  d命令删除pattern buffer中的内容进入下一次操作循环
  D命令删除pattern buffer中第一个换行符之前的内容进入下一次操作循环,如
  果pattern buffer中还有内容,则不用从input stream中读入

  3.10 p命令和P命令
  p命令输出pattern buffer中的内容
  P命令输出pattern buffer中第一个换行符之前的内容

  3.11 n命令和N命令
  n命令把下一行读入pattern buffer中(如果没用-n选项,将原来行输出)
  N命令把下一行追加到pattern buffer中

 3.12 流程控制命令
  b label命令:在指定行跳到label
  t label命令:如果在某行发生了替换,跳到label
  T label命令:如果在某行没有发生了替换,跳到label

4. 调用sed时的参数

  4.1 -e script 执行script这个脚本
  e.g. sed -e 's/a/A/' -e 's/b/B/' <old >new
  对每一行分别执行's/a/A/'和 's/b/B/'

  4.2 -n     禁止输出
  这里的-n与前面的/p配合,可以只输出被修改了的行.

  4.3 -f scriptname 把scriptname文件中的sed命令加入本次sed的调用中
  e.g. sed -f sedscript <old >new

  sedscript的内容可能是这样的:
  # sed comment - This script changes lower case vowels to upper case
  s/a/A/g
  s/e/E/g
  s/i/I/g
  s/o/O/g
  s/u/U/g

5. Hold Buffer

  x命令:将pattern buffer放入hold buffer,而将hold buffer的内容输出,pattern
  buffer的内容变成下一行
  h命令:将pattern buffer放入hold buffer,并将pattern buffer的内容输出,
  pattern buffer的内容变成下一行
  H命令:将pattern buffer追加到hold buffer
  g和G命令:g用hold buffer的内容替换pattern buffer的内容,而G将hold buffer内
  容追加到pattern buffer

参考: http://www.grymoire.com/Unix/Sed.html

sed -i '1,/PermitRootLogin/{/PermitRootLogin/c\
PermitRootLogin yes
}' /etc/ssh/sshd_config

只替换一次

sed -i '/^str/s/^/add/' t.sh

查找以str开头的行,并在行首插入add

sed -i '/libphp5/s/^/#/' /www/wdlinux/apache/conf/httpd.conf

地址是逗号分隔的，那么需要处理的地址是这两行之间的范围（包括这两行在内）。范围可以用数字、正则表达式、或二者的组合表示。例如：

3.命令与选项

sed命令告诉sed如何处理由地址指定的各输入行，如果没有指定地址则处理所有的输入行。

3.1 sed命令

3.2 sed选项

6.2 d命令

命令d用于删除输入行。sed先将输入行从文件复制到模式空间里，然后对该行执行sed命令，最后将模式空间里的内容显示在屏幕上。如果发出的是命令d，当前模式空间里的输入行会被删除，不被显示。

6.3 s命令

6.4 e选项

-e是编辑命令，用于sed执行多个编辑任务的情况下。在下一行开始编辑前，所有的编辑动作将应用到模式缓冲区中的行上。

6.5 r命令

r命令是读命令。sed使用该命令将一个文本文件中的内容加到当前文件的特定位置上。

6.7 a\ 命令

a\ 命令是追加命令，追加将添加新文本到文件中当前行（即读入模式缓冲区中的行）的后面。所追加的文本行位于sed命令的下方另起一行。如果要追加的内容超过一行，则每一行都必须以反斜线结束，最后一行除外。最后一行将以引号和文件名结束。

6.8 i\ 命令

i\ 命令是在当前行的前面插入新的文本。

6.9 c\ 命令

sed使用该命令将已有文本修改成新的文本。

6.10 n命令

sed使用该命令获取输入文件的下一行，并将其读入到模式缓冲区中，任何sed命令都将应用到匹配行紧接着的下一行上。

6.12 q命令

q命令将导致sed程序退出，不再进行其它的处理。

6.13 h命令和g命令

7. sed脚本

sed脚本就是写在文件中的一列sed命令。脚本中，要求命令的末尾不能有任何多余的空格或文本。如果在一行中有多个命令，要用分号分隔。执行脚本时，sed先将输入文件中第一行复制到模式缓冲区，然后对其执行脚本中所有的命令。每一行处理完毕后，sed再复制文件中下一行到模式缓冲区，对其执行脚本中所有命令。使用sed脚本时，不再用引号来确保sed命令不被shell解释。例如sed脚本script：