sed

功能強大的流式文本編輯器

補充說明

sed 是一種流編輯器,它是文本處理中非常重要的工具,能夠完美的配合正則表達式使用,功能不同凡響。處理時,把當前處理的行存儲在臨時緩衝區中,稱爲“模式空間”(pattern space),接着用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往屏幕。接着處理下一行,這樣不斷重複,直到文件末尾。文件內容並沒有 改變,除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個文件;簡化對文件的反覆操作;編寫轉換程序等。

sed的選項、命令、替換標記

命令格式

1sed [options] 'command' file(s)
2sed [options] -f scriptfile file(s)

選項

1-e<script>或--expression=<script>:以選項中的指定的script來處理輸入的文本文件;
2-f<script文件>或--file=<script文件>:以選項中指定的script文件來處理輸入的文本文件;
3-h或--help:顯示幫助;
4-n或--quiet或——silent:僅顯示script處理後的結果;
5-V或--version:顯示版本信息。

參數

文件:指定待處理的文本文件列表。

sed命令

 1a\ # 在當前行下面插入文本。
 2i\ # 在當前行上面插入文本。
 3c\ # 把選定的行改爲新的文本。
 4d # 刪除,刪除選擇的行。
 5D # 刪除模板塊的第一行。
 6s # 替換指定字符
 7h # 拷貝模板塊的內容到內存中的緩衝區。
 8H # 追加模板塊的內容到內存中的緩衝區。
 9g # 獲得內存緩衝區的內容,並替代當前模板塊中的文本。
10G # 獲得內存緩衝區的內容,並追加到當前模板塊文本的後面。
11l # 列表不能打印字符的清單。
12n # 讀取下一個輸入行,用下一個命令處理新的行而不是用第一個命令。
13N # 追加下一個輸入行到模板塊後面並在二者間嵌入一個新行,改變當前行號碼。
14p # 打印模板塊的行。
15P # (大寫) 打印模板塊的第一行。
16q # 退出Sed。
17b lable # 分支到腳本中帶有標記的地方,如果分支不存在則分支到腳本的末尾。
18r file # 從file中讀行。
19t label # if分支,從最後一行開始,條件一旦滿足或者T,t命令,將導致分支到帶有標號的命令處,或者到腳本的末尾。
20T label # 錯誤分支,從最後一行開始,一旦發生錯誤或者T,t命令,將導致分支到帶有標號的命令處,或者到腳本的末尾。
21w file # 寫並追加模板塊到file末尾。  
22W file # 寫並追加模板塊的第一行到file末尾。  
23! # 表示後面的命令對所有沒有被選定的行發生作用。  
24= # 打印當前行號碼。  
25# # 把註釋擴展到下一個換行符以前。  

sed替換標記

1g # 表示行內全面替換。  
2p # 表示打印行。  
3w # 表示把行寫入一個文件。  
4x # 表示互換模板塊中的文本和緩衝區中的文本。  
5y # 表示把一個字符翻譯爲另外的字符(但是不用於正則表達式)
6\1 # 子串匹配標記
7& # 已匹配字符串標記

sed元字符集

 1^ # 匹配行開始,如:/^sed/匹配所有以sed開頭的行。
 2$ # 匹配行結束,如:/sed$/匹配所有以sed結尾的行。
 3. # 匹配一個非換行符的任意字符,如:/s.d/匹配s後接一個任意字符,最後是d。
 4* # 匹配0個或多個字符,如:/*sed/匹配所有模板是一個或多個空格後緊跟sed的行。
 5[] # 匹配一個指定範圍內的字符,如/[sS]ed/匹配sed和Sed。  
 6[^] # 匹配一個不在指定範圍內的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一個字母開頭,緊跟ed的行。
 7\(..\) # 匹配子串,保存匹配的字符,如s/\(love\)able/\1rs,loveable被替換成lovers。
 8& # 保存搜索字符用來替換其他字符,如s/love/ **&** /,love這成 **love** 。
 9\< # 匹配單詞的開始,如:/\<love/匹配包含以love開頭的單詞的行。
10\> # 匹配單詞的結束,如/love\>/匹配包含以love結尾的單詞的行。
11x\{m\} # 重複字符x,m次,如:/0\{5\}/匹配包含5個0的行。
12x\{m,\} # 重複字符x,至少m次,如:/0\{5,\}/匹配至少有5個0的行。
13x\{m,n\} # 重複字符x,至少m次,不多於n次,如:/0\{5,10\}/匹配5~10個0的行。  

sed用法實例

替換操作:s命令

替換文本中的字符串:

1sed 's/book/books/' file

-n選項p命令 一起使用表示只打印那些發生替換的行:

sed -n 's/test/TEST/p' file

直接編輯文件 選項-i ,會匹配file文件中每一行的所有book替換爲books:

1sed -i 's/book/books/g' file

全面替換標記g

使用後綴 /g 標記會替換每一行中的所有匹配:

1sed 's/book/books/g' file

當需要從第N處匹配開始替換時,可以使用 /Ng:

1echo sksksksksksk | sed 's/sk/SK/2g'
2skSKSKSKSKSK
3
4echo sksksksksksk | sed 's/sk/SK/3g'
5skskSKSKSKSK
6
7echo sksksksksksk | sed 's/sk/SK/4g'
8skskskSKSKSK

定界符

以上命令中字符 / 在sed中作爲定界符使用,也可以使用任意的定界符:

1sed 's:test:TEXT:g'
2sed 's|test|TEXT|g'

定界符出現在樣式內部時,需要進行轉義:

1sed 's/\/bin/\/usr\/local\/bin/g'

刪除操作:d命令

刪除空白行:

1sed '/^$/d' file

刪除文件的第2行:

1sed '2d' file

刪除文件的第2行到末尾所有行:

1sed '2,$d' file

刪除文件最後一行:

1sed '$d' file

刪除文件中所有開頭是test的行:

1sed '/^test/'d file

已匹配字符串標記&

正則表達式 \w+ 匹配每一個單詞,使用 [&] 替換它,& 對應於之前所匹配到的單詞:

1echo this is a test line | sed 's/\w\+/[&]/g'
2[this] [is] [a] [test] [line]

所有以192.168.0.1開頭的行都會被替換成它自已加localhost:

1sed 's/^192.168.0.1/&localhost/' file
2192.168.0.1localhost

子串匹配標記\1

匹配給定樣式的其中一部分:

1echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
2this is 7 in a number

命令中 digit 7,被替換成了 7。樣式匹配到的子串是 7,(..) 用於匹配子串,對於匹配到的第一個子串就標記爲 \1 ,依此類推匹配到的第二個結果就是 \2 ,例如:

1echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/'
2BBB aaa

love被標記爲1,所有loveable會被替換成lovers,並打印出來:

1sed -n 's/\(love\)able/\1rs/p' file

通過替換獲取ip:

1ifconfig ens32 | sed -n '/inet /p' | sed 's/inet \([0-9.]\+\).*/\1/'
2192.168.75.126

大小寫轉換U/L

1\u:	首字母轉換爲大寫
2\U:  全部轉換爲大寫
3\l:	 首字母轉換爲小寫
4\L:	 全部轉換爲小寫

首字母轉換爲大寫:

1[root@node6 ~]# sed 's/^[a-z]\+/\u&/' passwd 
2Root:x:0:0:root:/root:/bin/bash
3Bin:x:1:1:bin:/bin:/sbin/nologin
4Daemon:x:2:2:daemon:/sbin:/sbin/nologin
5Adm:x:3:4:adm:/var/adm:/sbin/nologin
6Lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
7Sync:x:5:0:sync:/sbin:/bin/sync

匹配到的字符全部轉換爲大寫:

1[root@node6 ~]# sed 's/^[a-z]\+/\U&/' passwd 
2ROOT:x:0:0:root:/root:/bin/bash
3BIN:x:1:1:bin:/bin:/sbin/nologin

組合多個表達式

  1. 替換文本中的多個字符串:
1sed -e 's/old_string/new_string/g' -e 's/another_old_string/another_new_string/g' file.txt
  1. 刪除文本中的多個行:
1sed -e '1d' -e '/pattern/d' file.txt
  1. 在文本中插入多個行:
1sed -e '1i\inserted_line1' -e '2i\inserted_line2' file.txt

其中,-e 表示指定一個表達式,多個表達式之間用 -e 分隔。每個表達式可以是一個 sed 命令,例如 s、d、i 等。

引用

sed表達式可以使用單引號來引用,但是如果表達式內部包含變量字符串,就需要使用雙引號。

1test=hello
2echo hello WORLD | sed "s/$test/HELLO"
3HELLO WORLD

選定行的範圍:,(逗號)

所有在模板test和check所確定的範圍內的行都被打印:

1sed -n '/test/,/check/p' file

打印從第5行開始到第一個包含以test開始的行之間的所有行:

1sed -n '5,/^test/p' file

對於模板test和west之間的行,每行的末尾用字符串aaa bbb替換:

1sed '/test/,/west/s/$/aaa bbb/' file

多點編輯:e命令

-e選項允許在同一行裏執行多條命令:

1sed -e '1,5d' -e 's/test/check/' file

上面sed表達式的第一條命令刪除1至5行,第二條命令用check替換test。命令的執行順序對結果有影響。如果兩個命令都是替換命令,那麼第一個替換命令將影響第二個替換命令的結果。

和 -e 等價的命令是 --expression:

1sed --expression='s/test/check/' --expression='/love/d' file

從文件讀入:r命令

file裏的內容被讀進來,顯示在與test匹配的行後面,如果匹配多行,則file的內容將顯示在所有匹配行的下面:

1sed '/test/r file' filename

寫入文件:w命令  

在example中所有包含test的行都被寫入file裏:

1sed -n '/test/w file' example

追加(行下):a\命令

將 this is a test line 追加到 以test 開頭的行後面:

1sed '/^test/a\this is a test line' file

在 test.conf 文件第2行之後插入 this is a test line:

1sed -i '2a\this is a test line' test.conf

插入(行上):i\命令

將 this is a test line 追加到以test開頭的行前面:

1sed '/^test/i\this is a test line' file

在test.conf文件第5行之前插入this is a test line:

1sed -i '5i\this is a test line' test.conf

替換指定行:c\命令

把root開頭的行替換新內容:

1[root@node6 ~]# sed '/^root/c this is new line!' passwd 
2this is new line!
3bin:x:1:1:bin:/bin:/sbin/nologin

如果是指定範圍替換,需要注意,sed不是每行進行替換,而是把整個範圍作爲整體替換:

1[root@node6 ~]# nl passwd | sed '1,5c\   this is dangerous!'
2     this is dangerous!
3     6	sync:x:5:0:sync:/sbin:/bin/sync
4     7	shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

如果想實現對第一行到第五行統一替換爲相同內容,可以用下面的命令實現:

 1[root@node5 ~]# sed '1{:a;s/.*/lutxixia/;n;6!ba}' passwd 
 2lutxixia
 3lutxixia
 4lutxixia
 5lutxixia
 6lutxixia
 7sync:x:5:0:sync:/sbin:/bin/sync
 8
 9其中:
10:a  	是設置一個循環標籤
11s/.*/lutixia/	是用lutixia字符替換匹配到的每行內容
12n	是讀取下一行
136!	是讀到第六行退出循環,終止操作,如果沒有,則繼續循環。
14ba	是如果沒有到第六行就跳轉到a繼續循環

下一個:n命令

如果test被匹配,則移動到匹配行的下一行,替換這一行的aa,變爲bb,並打印該行,然後繼續:

1sed '/test/{ n; s/aa/bb/; }' file

變形:y命令

把1~10行內所有abcde轉變爲大寫,注意,正則表達式元字符不能使用這個命令:

1sed '1,10y/abcde/ABCDE/' file

退出:q命令

打印完前10行後,退出sed:

1sed '10q' file

直到找到第一個匹配項,退出sed:

1[root@node4 ~]# sed  '/nginx/q' nginx.yml 
2---
3- hosts: nginx

保持和獲取:h命令和G命令

在sed處理文件的時候,每一行都被保存在一個叫模式空間的臨時緩衝區中,除非行被刪除或者輸出被取消,否則所有被處理的行都將 打印在屏幕上。接着模式空間被清空,並存入新的一行等待處理。

1sed -e '/test/h' -e '$G' file

在這個例子裏,匹配test的行被找到後,將存入模式空間,h命令將其複製並存入一個稱爲保持緩存區的特殊緩衝區內。第二條語句的意思是,當到達最後一行後,G命令取出保持緩衝區的行,然後把它放回模式空間中,且追加到現在已經存在於模式空間中的行的末尾。在這個例子中就是追加到最後一行。簡單來說,任何包含test的行都被複制並追加到該文件的末尾。

保持和互換:h命令和x命令

互換模式空間和保持緩衝區的內容。也就是把包含test與check的行互換:

1sed -e '/test/h' -e '/check/x' file

腳本scriptfile

sed腳本是一個sed的命令清單,啓動Sed時以-f選項引導腳本文件名。Sed對於腳本中輸入的命令非常挑剔,在命令的末尾不能有任何空白或文本,如果在一行中有多個命令,要用分號分隔。以#開頭的行爲註釋行,且不能跨行。

1sed [options] -f scriptfile file(s)

打印奇數行或偶數行

方法1:

1sed -n 'p;n' test.txt  #奇數行
2sed -n 'n;p' test.txt  #偶數行

方法2:

1sed -n '1~2p' test.txt  #奇數行
2sed -n '2~2p' test.txt  #偶數行

打印匹配字符串的下一行

1grep -A 1 SCC URFILE
2sed -n '/SCC/{n;p}' URFILE
3awk '/SCC/{getline; print}' URFILE

來源:https://github.com/jaywcjlove/linux-command

最後修改於: Wednesday, January 31, 2024

相關文章:

翻譯: