curl

利用URL規則在命令行下工作的文件傳輸工具

補充說明

curl命令 是一個利用URL規則在命令行下工作的文件傳輸工具。它支持文件的上傳和下載,所以是綜合傳輸工具,但按傳統,習慣稱curl爲下載工具。作爲一款強力工具,curl支持包括HTTP、HTTPS、ftp等衆多協議,還支持POST、cookies、認證、從指定偏移處下載部分文件、用戶代理字符串、限速、文件大小、進度條等特徵。做網頁處理流程和數據檢索自動化,curl可以助一臂之力。

語法

1curl(選項)(參數)

選項

 1-a   --append                                   # 上傳文件時,附加到目標文件 
 2-A   --user-agent                               # 設置用戶代理發送給服務器 
 3-anyauth                                        # 可以使用“任何”身份驗證方法 
 4-b   --cookie                                   # cookie字符串或文件讀取位置 
 5     --basic                                    # 使用HTTP基本驗證 
 6-B   --use-ascii                                # 使用ASCII /文本傳輸 
 7-c   --cookie-jar                               # 操作結束後把cookie寫入到這個文件中 
 8-C   --continue-at                              # 斷點續傳 
 9-d   --data                                     # HTTP POST方式傳送數據 
10     --data-ascii                               # 以ascii的方式post數據 
11     --data-binary                              # 以二進制的方式post數據 
12     --negotiate                                # 使用HTTP身份驗證 
13     --digest                                   # 使用數字身份驗證 
14     --disable-eprt                             # 禁止使用EPRT或LPRT 
15     --disable-epsv                             # 禁止使用EPSV 
16-D   --dump-header                              # 把header信息寫入到該文件中 
17     --egd-file                                 # 爲隨機數據(SSL)設置EGD socket路徑 
18     --tcp-nodelay                              # 使用TCP\_NODELAY選項 
19-e   --referer                                  # 來源網址 
20-E   --cert                                     # 客戶端證書文件和密碼 (SSL)
21     --cert-type                                # 證書文件類型 (DER/PEM/ENG) (SSL)
22     --key                                      # 私鑰文件名 (SSL)
23     --key-type                                 # 私鑰文件類型 (DER/PEM/ENG) (SSL)
24     --pass                                     # 私鑰密碼 (SSL)
25     --engine                                   # 加密引擎使用 (SSL). "--engine list" for list 
26     --cacert                                   # CA證書 (SSL)
27     --capath                                   # CA目錄 (made using c\_rehash) to verify peer against (SSL)
28     --ciphers                                  # SSL密碼 
29     --compressed                               # 要求返回是壓縮的形勢 (using deflate or gzip)
30     --connect-timeout                          # 設置最大請求時間 
31     --create-dirs                              # 建立本地目錄的目錄層次結構 
32     --crlf                                     # 上傳是把LF轉變成CRLF 
33-f   --fail                                     # 連接失敗時不顯示http錯誤 
34     --ftp-create-dirs                          # 如果遠程目錄不存在,創建遠程目錄 
35     --ftp-method \[multicwd/nocwd/singlecwd]   # 控制CWD的使用 
36     --ftp-pasv                                 # 使用 PASV/EPSV 代替端口 
37     --ftp-skip-pasv-ip                         # 使用PASV的時候,忽略該IP地址 
38     --ftp-ssl                                  # 嘗試用 SSL/TLS 來進行ftp數據傳輸 
39     --ftp-ssl-reqd                             # 要求用 SSL/TLS 來進行ftp數據傳輸 
40-F   --form                                     # 模擬http表單提交數據 
41     --form-string                              # 模擬http表單提交數據 
42-g   --globoff                                  # 禁用網址序列和範圍使用{}和\[] 
43-G   --get                                      # 以get的方式來發送數據 
44-H   --header                                   # 自定義頭信息傳遞給服務器 
45     --ignore-content-length                    # 忽略的HTTP頭信息的長度 
46-i   --include                                  # 輸出時包括protocol頭信息 
47-I   --head                                     # 只顯示請求頭信息 
48-j   --junk-session-cookies                     # 讀取文件進忽略session cookie 
49     --interface                                # 使用指定網絡接口/地址 
50     --krb4                                     # 使用指定安全級別的krb4 
51-k   --insecure                                 # 允許不使用證書到SSL站點 
52-K   --config                                   # 指定的配置文件讀取 
53-l   --list-only                                # 列出ftp目錄下的文件名稱 
54     --limit-rate                               # 設置傳輸速度 
55     --local-port                               # 強制使用本地端口號 
56-m   --max-time                                 # 設置最大傳輸時間 
57     --max-redirs                               # 設置最大讀取的目錄數 
58     --max-filesize                             # 設置最大下載的文件總量 
59-M   --manual                                   # 顯示全手動 
60-n   --netrc                                    # 從netrc文件中讀取用戶名和密碼 
61     --netrc-optional                           # 使用 .netrc 或者 URL來覆蓋-n 
62     --ntlm                                     # 使用 HTTP NTLM 身份驗證 
63-N   --no-buffer                                # 禁用緩衝輸出 
64-o   --output                                   # 把輸出寫到該文件中 
65-O   --remote-name                              # 把輸出寫到該文件中,保留遠程文件的文件名 
66-p   --proxytunnel                              # 使用HTTP代理 
67     --proxy-anyauth                            # 選擇任一代理身份驗證方法 
68     --proxy-basic                              # 在代理上使用基本身份驗證 
69     --proxy-digest                             # 在代理上使用數字身份驗證 
70     --proxy-ntlm                               # 在代理上使用ntlm身份驗證 
71-P   --ftp-port                                 # 使用端口地址,而不是使用PASV 
72-q                                              # 作爲第一個參數,關閉 .curlrc 
73-Q   --quote                                    # 文件傳輸前,發送命令到服務器 
74-r   --range                                    # 檢索來自HTTP/1.1或FTP服務器字節範圍 
75--range-file                                    # 讀取(SSL)的隨機文件 
76-R   --remote-time                              # 在本地生成文件時,保留遠程文件時間 
77     --retry                                    # 傳輸出現問題時,重試的次數 
78     --retry-delay                              # 傳輸出現問題時,設置重試間隔時間 
79     --retry-max-time                           # 傳輸出現問題時,設置最大重試時間 
80-s   --silent                                   # 靜默模式。不輸出任何東西 
81-S   --show-error                               # 顯示錯誤 
82     --socks4                                   # 用socks4代理給定主機和端口 
83     --socks5                                   # 用socks5代理給定主機和端口 
84     --stderr                                   #   
85-t   --telnet-option                            # Telnet選項設置 
86     --trace                                    # 對指定文件進行debug 
87     --trace-ascii                              # Like --跟蹤但沒有hex輸出 
88     --trace-time                               # 跟蹤/詳細輸出時,添加時間戳 
89-T   --upload-file                              # 上傳文件 
90     --url <url>                                # 要使用的 URL
91-u   --user                                     # 設置服務器的用戶和密碼 
92-U   --proxy-user                               # 設置代理用戶名和密碼 
93-w   --write-out \[format]                      # 什麼輸出完成後 
94-x   --proxy                                    # 在給定的端口上使用HTTP代理 
95-X   --request                                  # 指定什麼命令 
96-y   --speed-time                               # 放棄限速所要的時間,默認爲30 
97-Y   --speed-limit                              # 停止傳輸速度的限制,速度時間 

實例

文件下載

curl命令可以用來執行下載、發送各種HTTP請求,指定HTTP頭部等操作。如果系統沒有curl可以使用yum install curl安裝,也可以下載安裝。curl是將下載文件輸出到stdout,將進度信息輸出到stderr,不顯示進度信息使用--silent選項。

1curl URL --silent

這條命令是將下載文件輸出到終端,所有下載的數據都被寫入到stdout。

使用選項-O將下載的數據寫入到文件,必須使用文件的絕對地址:

1curl http://example.com/text.iso --silent -O

選項-o將下載數據寫入到指定名稱的文件中,並使用--progress顯示進度條:

1curl http://example.com/test.iso -o filename.iso --progress
2######################################### 100.0%

不輸出錯誤和進度信息

-s 參數將不輸出錯誤和進度信息。

1curl -s https://www.example.com
2# 上面命令一旦發生錯誤,不會顯示錯誤信息。不發生錯誤的話,會正常顯示運行結果。

如果想讓 curl 不產生任何輸出,可以使用下面的命令。

1curl -s -o /dev/null https://example.com

斷點續傳

curl能夠從特定的文件偏移處繼續下載,它可以通過指定一個偏移量來下載部分文件:

1curl URL/File -C 偏移量
2
3#偏移量是以字節爲單位的整數,如果讓curl自動推斷出正確的續傳位置使用-C -:
4curl -C -URL

使用curl設置參照頁字符串

參照頁是位於HTTP頭部中的一個字符串,用來表示用戶是從哪個頁面到達當前頁面的,如果用戶點擊網頁A中的某個連接,那麼用戶就會跳轉到B網頁,網頁B頭部的參照頁字符串就包含網頁A的URL。

使用 --referer 選項指定參照頁字符串:

1curl --referer http://www.example.com http://example.com

用curl設置用戶代理字符串

有些網站訪問會提示只能使用IE瀏覽器來訪問,這是因爲這些網站設置了檢查用戶代理,可以使用curl把用戶代理設置爲IE,這樣就可以訪問了。使用 --user-agent 或者 -A 選項:

1curl URL --user-agent "Mozilla/5.0"
2curl URL -A "Mozilla/5.0"

其他HTTP頭部信息也可以使用curl來發送,使用-H"頭部信息" 傳遞多個頭部信息,例如:

1curl -H "Host:example.com" -H "accept-language:zh-cn" URL

curl的帶寬控制和下載配額

使用--limit-rate限制curl的下載速度:

1curl URL --limit-rate 50k

命令中用k(千字節)和m(兆字節)指定下載速度限制。

使用--max-filesize指定可下載的最大文件大小:

1curl URL --max-filesize bytes

如果文件大小超出限制,命令則返回一個非0退出碼,如果命令正常則返回0。

1curl --limit-rate 200k https://example.com
2# 上面命令將帶寬限制在每秒 200K 字節。

用curl進行認證

使用curl選項 -u 可以完成HTTP或者FTP的認證,可以指定密碼,也可以不指定密碼在後續操作中輸入密碼:

1curl -u user:pwd http://example.com
2curl -u user http://example.com

只打印響應頭部信息

通過-I或者-head可以只打印出HTTP頭部信息:

 1[root@localhost text]# curl -I http://example.com
 2HTTP/1.1 200 OK
 3Content-Encoding: gzip
 4Accept-Ranges: bytes
 5Age: 275552
 6Cache-Control: max-age=604800
 7Content-Type: text/html; charset=UTF-8
 8Date: Mon, 24 Apr 2023 14:39:36 GMT
 9Etag: "3147526947+gzip"
10Expires: Mon, 01 May 2023 14:39:36 GMT
11Last-Modified: Thu, 17 Oct 2019 07:18:26 GMT
12Server: ECS (sec/96EE)
13X-Cache: HIT
14Content-Length: 648

GET 請求

1curl "http://www.example.com"    # 如果這裏的URL指向的是一個文件或者一幅圖都可以直接下載到本地
2curl -i "http://www.example.com" # 顯示全部信息
3curl -l "http://www.example.com" # 顯示頁面內容
4curl -v "http://www.example.com" # 顯示get請求全過程解析

POST 請求

1$ curl -d "param1=value1&param2=value2" "http://www.example.com/login"
2
3$ curl -d'login=emma&password=123' -X POST https://example.com/login
4# 或者
5$ curl -d 'login=emma' -d 'password=123' -X POST  https://example.com/login

--data-urlencode 參數等同於 -d,發送 POST 請求的數據體,區別在於會自動將發送的數據進行 URL 編碼。

1curl --data-urlencode 'comment=hello world' https://example.com/login
2# 上面代碼中,發送的數據hello world之間有一個空格,需要進行 URL 編碼。

發送本地文件中的文字

1curl -d '@data.txt' https://example.com/upload
2# 讀取data.txt文件的內容,作爲數據體向服務器發送。

JSON 格式的 POST 請求

1curl -l -H "Content-type: application/json" -X POST -d '{"phone":"13888888888","password":"test"}' http://example.com/apis/users.json

使用--cookie "COKKIES"選項來指定cookie,多個cookie使用分號分隔:

1curl http://example.com --cookie "user=root;pass=123456"

將cookie另存爲一個文件,使用--cookie-jar選項:

1curl URL --cookie-jar cookie_file

-b 參數用來向服務器發送 Cookie。

1curl -b 'foo=bar' https://example.com
2# 上面命令會生成一個標頭Cookie: foo=bar,向服務器發送一個名爲foo、值爲bar的 Cookie。
1curl -b 'foo1=bar' -b 'foo2=baz' https://example.com
2# 上面命令發送兩個 Cookie。
3
4```shell
5curl -b cookies.txt https://www.example.com
6# 上面命令讀取本地文件 cookies.txt,裏面是服務器設置的 Cookie(參見-c參數),將其發送到服務器。
1curl -c cookies.txt https://www.example.com
2# 上面命令將服務器的 HTTP 回應所設置 Cookie 寫入文本文件cookies.txt。

請求的來源

-e 參數用來設置 HTTP 的標頭 Referer,表示請求的來源。

1curl -e 'https://example.com?q=example' https://www.example.com
2# 上面命令將Referer標頭設爲 https://example.com?q=example。

-H 參數可以通過直接添加標頭 Referer,達到同樣效果。

1curl -H 'Referer: https://example.com?q=example' https://www.example.com

上傳二進制文件

-F 參數用來向服務器上傳二進制文件。

1curl -F 'file=@photo.png' https://example.com/profile
2# 上面命令會給 HTTP 請求加上標頭 Content-Type: multipart/form-data ,然後將文件photo.png作爲file字段上傳。

-F 參數可以指定 MIME 類型。

1curl -F 'file=@photo.png;type=image/png' https://example.com/profile
2# 上面命令指定 MIME 類型爲image/png,否則 curl 會把 MIME 類型設爲 application/octet-stream。

-F 參數也可以指定文件名。

1curl -F 'file=@photo.png;filename=me.png' https://example.com/profile
2# 上面命令中,原始文件名爲photo.png,但是服務器接收到的文件名爲me.png。

設置請求頭

-H 參數添加 HTTP 請求的標頭。

1curl -H 'Accept-Language: en-US' https://example.com
2# 上面命令添加 HTTP 標頭 Accept-Language: en-US。
1curl -H 'Accept-Language: en-US' -H 'Secret-Message: xyzzy' https://example.com
2# 上面命令添加兩個 HTTP 標頭。
1curl -d '{"login": "emma", "pass": "123"}' -H 'Content-Type: application/json' https://example.com/login
2# 上面命令添加 HTTP 請求的標頭是 Content-Type: application/json,然後用 -d 參數發送 JSON 數據。

跳過 SSL 檢測

1curl -k https://www.example.com
2# 上面命令不會檢查服務器的 SSL 證書是否正確。

請求跟隨服務器的重定向

-L 參數會讓 HTTP 請求跟隨服務器的重定向。curl 默認不跟隨重定向。

1curl -L -d 'tweet=hi' https://api.example.com/tweet

值得注意的是,這種重定向方式不適用於在返回的 HTML 中的重定向,比如這種是不被 curl 識別的重定向(這部分內容由 curl -v -L <url> 生成)

 1* Connected to example.com (*.*.*.*) port 80 (#0)
 2> GET / HTTP/1.1
 3> Host: example.com
 4> User-Agent: curl/8.0.1
 5> Accept: */*
 6>
 7< HTTP/1.1 200 OK
 8....
 9< Content-Type: text/html
10<
11<html>
12<meta http-equiv="refresh" content="0;url=http://www.example.com/">
13</html>

調試參數

-v 參數輸出通信的整個過程,用於調試。

1curl -v https://www.example.com
2# --trace參數也可以用於調試,還會輸出原始的二進制數據。
1curl --trace - https://www.example.com

獲取本機外網 IP

1curl ipecho.net/plain

使用 curl 測試網站加載速度

命令有一個鮮爲人知的選項,-w,該選項在請求結束之後打印本次請求的統計數據到標準輸出。

首先,我們定義控制打印行爲的格式化字符串。新建文本文件 fmt.txt,並填入下面的內容:

1\n
2Response Time for: %{url_effective}\n\n
3DNS Lookup Time:\t\t%{time_namelookup}s\n
4Redirection Time:\t\t%{time_redirect}s\n
5Connection Time:\t\t%{time_connect}s\n
6App Connection Time:\t\t%{time_appconnect}s\n
7Pre-transfer Time:\t\t%{time_pretransfer}s\n
8Start-transfer Time:\t\t%{time_starttransfer}s\n\n
9Total Time:\t\t\t%{time_total}s\n

curl 提供了很多置換變量,可以在格式化字符串中通過 %{var} 的形式使用。完整的變量列表可以在 curlmanpage 中查看。簡單介紹一下我們使用的這幾個變量:

  • url_effective: 執行完地址重定向之後的最終 URL;
  • time_namelookup: 從請求開始至完成名稱解析所花的時間,單位爲秒,下同;
  • time_redirect: 執行所有重定向所花的時間;
  • time_connect: 從請求開始至建立 TCP 連接所花的時間;
  • time_appconnect: 從請求開始至完成 SSL/SSH 握手所花的時間;
  • time_pretransfer: 從請求開始至服務器準備傳送文件所花的時間,包含了傳送協商時間;
  • time_starttransfer: 從請求開始至服務器準備傳送第一個字節所花的時間;
  • time_total: 完整耗時。

然後執行請求,通過 @filename 指定保存了格式化字符串的文件:

1curl -L -s -w @fmt.txt -o /dev/null http://www.example.com

輸出:

 1Response Time for: http://www.google.co.jp/?gfe_rd=cr&dcr=0&ei=cjIaWpTkHeiQ8QfnxYzoBA
 2
 3DNS Lookup Time:        0.000038s
 4Redirection Time:       0.207271s
 5Connection Time:        0.000039s
 6App Connection Time:    0.000039s
 7Pre-transfer Time:      0.000067s
 8Start-transfer Time:    0.260115s
 9
10Total Time:             0.467691s

要求返回是壓縮的狀態

 1$ curl --compressed -o- -L https://yarnpkg.com/install.sh | bash
 2  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
 3                                 Dload  Upload   Total   Spent    Left  Speed
 4100    54  100    54    0     0     42      0  0:00:01  0:00:01 --:--:--    42
 5100  2341  100  2341    0     0   1202      0  0:00:01  0:00:01 --:--:--  9289
 6Installing Yarn!
 7> Downloading tarball...
 8
 9[1/2]: https://yarnpkg.com/latest.tar.gz --> /var/folders/j7/3xly5sk567s65ny5dnr__3b80000gn/T/yarn.tar.gz.XXXXXXXXXX.9hJsBsrA
10  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
11                                 Dload  Upload   Total   Spent    Left  Speed
12100    57  100    57    0     0     72      0 --:--:-- --:--:-- --:--:--    72
13100    93  100    93    0     0     63      0  0:00:01  0:00:01 --:--:--    63
14100   643  100   643    0     0    248      0  0:00:02  0:00:02 --:--:--   707
15100 1215k  100 1215k    0     0   153k      0  0:00:07  0:00:07 --:--:--  305k
16
17[2/2]: https://yarnpkg.com/latest.tar.gz.asc --> /var/folders/j7/3xly5sk567s65ny5dnr__3b80000gn/T/yarn.tar.gz.XXXXXXXXXX.9hJsBsrA.asc
18100    61  100    61    0     0    356      0 --:--:-- --:--:-- --:--:--   356
19100    97  100    97    0     0    325      0 --:--:-- --:--:-- --:--:--   325
20100   647  100   647    0     0   1283      0 --:--:-- --:--:-- --:--:--  1283
21100   832  100   832    0     0   1107      0 --:--:-- --:--:-- --:--:--  812k

來源:https://github.com/jaywcjlove/linux-command

最後修改於: Wednesday, January 31, 2024

相關文章:

翻譯: