curl
利用URL規則在命令行下工作的文件傳輸工具
補充說明
curl命令 是一個利用URL規則在命令行下工作的文件傳輸工具。它支持文件的上傳和下載，所以是綜合傳輸工具，但按傳統，習慣稱curl爲下載工具。作爲一款強力工具，curl支持包括HTTP、HTTPS、ftp等衆多協議，還支持POST、cookies、認證、從指定偏移處下載部分文件、用戶代理字符串、限速、文件大小、進度條等特徵。做網頁處理流程和數據檢索自動化，curl可以助一臂之力。
語法
1curl(選項)(參數)
選項
1-a --append # 上傳文件時，附加到目標文件
2-A --user-agent # 設置用戶代理發送給服務器
3-anyauth # 可以使用“任何”身份驗證方法
4-b --cookie # cookie字符串或文件讀取位置
5 --basic # 使用HTTP基本驗證
6-B --use-ascii # 使用ASCII /文本傳輸
7-c --cookie-jar # 操作結束後把cookie寫入到這個文件中
8-C --continue-at # 斷點續傳
9-d --data # HTTP POST方式傳送數據
10 --data-ascii # 以ascii的方式post數據
11 --data-binary # 以二進制的方式post數據
12 --negotiate # 使用HTTP身份驗證
13 --digest # 使用數字身份驗證
14 --disable-eprt # 禁止使用EPRT或LPRT
15 --disable-epsv # 禁止使用EPSV
16-D --dump-header # 把header信息寫入到該文件中
17 --egd-file # 爲隨機數據(SSL)設置EGD socket路徑
18 --tcp-nodelay # 使用TCP\_NODELAY選項
19-e --referer # 來源網址
20-E --cert # 客戶端證書文件和密碼 (SSL)
21 --cert-type # 證書文件類型 (DER/PEM/ENG) (SSL)
22 --key # 私鑰文件名 (SSL)
23 --key-type # 私鑰文件類型 (DER/PEM/ENG) (SSL)
24 --pass # 私鑰密碼 (SSL)
25 --engine # 加密引擎使用 (SSL). "--engine list" for list
26 --cacert # CA證書 (SSL)
27 --capath # CA目錄 (made using c\_rehash) to verify peer against (SSL)
28 --ciphers # SSL密碼
29 --compressed # 要求返回是壓縮的形勢 (using deflate or gzip)
30 --connect-timeout # 設置最大請求時間
31 --create-dirs # 建立本地目錄的目錄層次結構
32 --crlf # 上傳是把LF轉變成CRLF
33-f --fail # 連接失敗時不顯示http錯誤
34 --ftp-create-dirs # 如果遠程目錄不存在，創建遠程目錄
35 --ftp-method \[multicwd/nocwd/singlecwd] # 控制CWD的使用
36 --ftp-pasv # 使用 PASV/EPSV 代替端口
37 --ftp-skip-pasv-ip # 使用PASV的時候,忽略該IP地址
38 --ftp-ssl # 嘗試用 SSL/TLS 來進行ftp數據傳輸
39 --ftp-ssl-reqd # 要求用 SSL/TLS 來進行ftp數據傳輸
40-F --form # 模擬http表單提交數據
41 --form-string # 模擬http表單提交數據
42-g --globoff # 禁用網址序列和範圍使用{}和\[]
43-G --get # 以get的方式來發送數據
44-H --header # 自定義頭信息傳遞給服務器
45 --ignore-content-length # 忽略的HTTP頭信息的長度
46-i --include # 輸出時包括protocol頭信息
47-I --head # 只顯示請求頭信息
48-j --junk-session-cookies # 讀取文件進忽略session cookie
49 --interface # 使用指定網絡接口/地址
50 --krb4 # 使用指定安全級別的krb4
51-k --insecure # 允許不使用證書到SSL站點
52-K --config # 指定的配置文件讀取
53-l --list-only # 列出ftp目錄下的文件名稱
54 --limit-rate # 設置傳輸速度
55 --local-port # 強制使用本地端口號
56-m --max-time # 設置最大傳輸時間
57 --max-redirs # 設置最大讀取的目錄數
58 --max-filesize # 設置最大下載的文件總量
59-M --manual # 顯示全手動
60-n --netrc # 從netrc文件中讀取用戶名和密碼
61 --netrc-optional # 使用 .netrc 或者 URL來覆蓋-n
62 --ntlm # 使用 HTTP NTLM 身份驗證
63-N --no-buffer # 禁用緩衝輸出
64-o --output # 把輸出寫到該文件中
65-O --remote-name # 把輸出寫到該文件中，保留遠程文件的文件名
66-p --proxytunnel # 使用HTTP代理
67 --proxy-anyauth # 選擇任一代理身份驗證方法
68 --proxy-basic # 在代理上使用基本身份驗證
69 --proxy-digest # 在代理上使用數字身份驗證
70 --proxy-ntlm # 在代理上使用ntlm身份驗證
71-P --ftp-port # 使用端口地址，而不是使用PASV
72-q # 作爲第一個參數，關閉 .curlrc
73-Q --quote # 文件傳輸前，發送命令到服務器
74-r --range # 檢索來自HTTP/1.1或FTP服務器字節範圍
75--range-file # 讀取（SSL）的隨機文件
76-R --remote-time # 在本地生成文件時，保留遠程文件時間
77 --retry # 傳輸出現問題時，重試的次數
78 --retry-delay # 傳輸出現問題時，設置重試間隔時間
79 --retry-max-time # 傳輸出現問題時，設置最大重試時間
80-s --silent # 靜默模式。不輸出任何東西
81-S --show-error # 顯示錯誤
82 --socks4 # 用socks4代理給定主機和端口
83 --socks5 # 用socks5代理給定主機和端口
84 --stderr #
85-t --telnet-option # Telnet選項設置
86 --trace # 對指定文件進行debug
87 --trace-ascii # Like --跟蹤但沒有hex輸出
88 --trace-time # 跟蹤/詳細輸出時，添加時間戳
89-T --upload-file # 上傳文件
90 --url <url> # 要使用的 URL
91-u --user # 設置服務器的用戶和密碼
92-U --proxy-user # 設置代理用戶名和密碼
93-w --write-out \[format] # 什麼輸出完成後
94-x --proxy # 在給定的端口上使用HTTP代理
95-X --request # 指定什麼命令
96-y --speed-time # 放棄限速所要的時間，默認爲30
97-Y --speed-limit # 停止傳輸速度的限制，速度時間
實例
文件下載
curl命令可以用來執行下載、發送各種HTTP請求，指定HTTP頭部等操作。如果系統沒有curl可以使用yum install curl安裝，也可以下載安裝。curl是將下載文件輸出到stdout，將進度信息輸出到stderr，不顯示進度信息使用--silent選項。
1curl URL --silent
這條命令是將下載文件輸出到終端，所有下載的數據都被寫入到stdout。
使用選項-O將下載的數據寫入到文件，必須使用文件的絕對地址：
1curl http://example.com/text.iso --silent -O
選項-o將下載數據寫入到指定名稱的文件中，並使用--progress顯示進度條：
1curl http://example.com/test.iso -o filename.iso --progress
2######################################### 100.0%
不輸出錯誤和進度信息
-s 參數將不輸出錯誤和進度信息。
1curl -s https://www.example.com
2# 上面命令一旦發生錯誤，不會顯示錯誤信息。不發生錯誤的話，會正常顯示運行結果。
如果想讓 curl 不產生任何輸出，可以使用下面的命令。
1curl -s -o /dev/null https://example.com
斷點續傳
curl能夠從特定的文件偏移處繼續下載，它可以通過指定一個偏移量來下載部分文件：
1curl URL/File -C 偏移量
2
3#偏移量是以字節爲單位的整數，如果讓curl自動推斷出正確的續傳位置使用-C -：
4curl -C -URL
使用curl設置參照頁字符串
參照頁是位於HTTP頭部中的一個字符串，用來表示用戶是從哪個頁面到達當前頁面的，如果用戶點擊網頁A中的某個連接，那麼用戶就會跳轉到B網頁，網頁B頭部的參照頁字符串就包含網頁A的URL。
使用 --referer 選項指定參照頁字符串：
1curl --referer http://www.example.com http://example.com
用curl設置用戶代理字符串
有些網站訪問會提示只能使用IE瀏覽器來訪問，這是因爲這些網站設置了檢查用戶代理，可以使用curl把用戶代理設置爲IE，這樣就可以訪問了。使用 --user-agent 或者 -A 選項：
1curl URL --user-agent "Mozilla/5.0"
2curl URL -A "Mozilla/5.0"
其他HTTP頭部信息也可以使用curl來發送，使用-H"頭部信息" 傳遞多個頭部信息，例如：
1curl -H "Host:example.com" -H "accept-language:zh-cn" URL
curl的帶寬控制和下載配額
使用--limit-rate限制curl的下載速度：
1curl URL --limit-rate 50k
命令中用k（千字節）和m（兆字節）指定下載速度限制。
使用--max-filesize指定可下載的最大文件大小：
1curl URL --max-filesize bytes
如果文件大小超出限制，命令則返回一個非0退出碼，如果命令正常則返回0。
1curl --limit-rate 200k https://example.com
2# 上面命令將帶寬限制在每秒 200K 字節。
用curl進行認證
使用curl選項 -u 可以完成HTTP或者FTP的認證，可以指定密碼，也可以不指定密碼在後續操作中輸入密碼：
1curl -u user:pwd http://example.com
2curl -u user http://example.com
只打印響應頭部信息
通過-I或者-head可以只打印出HTTP頭部信息：
1[root@localhost text]# curl -I http://example.com
2HTTP/1.1 200 OK
3Content-Encoding: gzip
4Accept-Ranges: bytes
5Age: 275552
6Cache-Control: max-age=604800
7Content-Type: text/html; charset=UTF-8
8Date: Mon, 24 Apr 2023 14:39:36 GMT
9Etag: "3147526947+gzip"
10Expires: Mon, 01 May 2023 14:39:36 GMT
11Last-Modified: Thu, 17 Oct 2019 07:18:26 GMT
12Server: ECS (sec/96EE)
13X-Cache: HIT
14Content-Length: 648
GET 請求
1curl "http://www.example.com" # 如果這裏的URL指向的是一個文件或者一幅圖都可以直接下載到本地
2curl -i "http://www.example.com" # 顯示全部信息
3curl -l "http://www.example.com" # 顯示頁面內容
4curl -v "http://www.example.com" # 顯示get請求全過程解析
POST 請求
1$ curl -d "param1=value1¶m2=value2" "http://www.example.com/login"
2
3$ curl -d'login=emma＆password=123' -X POST https://example.com/login
4# 或者
5$ curl -d 'login=emma' -d 'password=123' -X POST https://example.com/login
--data-urlencode 參數等同於 -d，發送 POST 請求的數據體，區別在於會自動將發送的數據進行 URL 編碼。
1curl --data-urlencode 'comment=hello world' https://example.com/login
2# 上面代碼中，發送的數據hello world之間有一個空格，需要進行 URL 編碼。
發送本地文件中的文字
1curl -d '@data.txt' https://example.com/upload
2# 讀取data.txt文件的內容，作爲數據體向服務器發送。
JSON 格式的 POST 請求
1curl -l -H "Content-type: application/json" -X POST -d '{"phone":"13888888888","password":"test"}' http://example.com/apis/users.json
向服務器發送 Cookie
使用--cookie "COKKIES"選項來指定cookie，多個cookie使用分號分隔：
1curl http://example.com --cookie "user=root;pass=123456"
將cookie另存爲一個文件，使用--cookie-jar選項：
1curl URL --cookie-jar cookie_file
-b 參數用來向服務器發送 Cookie。
1curl -b 'foo=bar' https://example.com
2# 上面命令會生成一個標頭Cookie: foo=bar，向服務器發送一個名爲foo、值爲bar的 Cookie。
1curl -b 'foo1=bar' -b 'foo2=baz' https://example.com
2# 上面命令發送兩個 Cookie。
3
4```shell
5curl -b cookies.txt https://www.example.com
6# 上面命令讀取本地文件 cookies.txt，裏面是服務器設置的 Cookie（參見-c參數），將其發送到服務器。
Cookie 寫入一個文件
1curl -c cookies.txt https://www.example.com
2# 上面命令將服務器的 HTTP 回應所設置 Cookie 寫入文本文件cookies.txt。
請求的來源
-e 參數用來設置 HTTP 的標頭 Referer，表示請求的來源。
1curl -e 'https://example.com?q=example' https://www.example.com
2# 上面命令將Referer標頭設爲 https://example.com?q=example。
-H 參數可以通過直接添加標頭 Referer，達到同樣效果。
1curl -H 'Referer: https://example.com?q=example' https://www.example.com
上傳二進制文件
-F 參數用來向服務器上傳二進制文件。
1curl -F '[email protected]' https://example.com/profile
2# 上面命令會給 HTTP 請求加上標頭 Content-Type: multipart/form-data ，然後將文件photo.png作爲file字段上傳。
-F 參數可以指定 MIME 類型。
1curl -F '[email protected];type=image/png' https://example.com/profile
2# 上面命令指定 MIME 類型爲image/png，否則 curl 會把 MIME 類型設爲 application/octet-stream。
-F 參數也可以指定文件名。
1curl -F '[email protected];filename=me.png' https://example.com/profile
2# 上面命令中，原始文件名爲photo.png，但是服務器接收到的文件名爲me.png。
設置請求頭
-H 參數添加 HTTP 請求的標頭。
1curl -H 'Accept-Language: en-US' https://example.com
2# 上面命令添加 HTTP 標頭 Accept-Language: en-US。
1curl -H 'Accept-Language: en-US' -H 'Secret-Message: xyzzy' https://example.com
2# 上面命令添加兩個 HTTP 標頭。
1curl -d '{"login": "emma", "pass": "123"}' -H 'Content-Type: application/json' https://example.com/login
2# 上面命令添加 HTTP 請求的標頭是 Content-Type: application/json，然後用 -d 參數發送 JSON 數據。
跳過 SSL 檢測
1curl -k https://www.example.com
2# 上面命令不會檢查服務器的 SSL 證書是否正確。
請求跟隨服務器的重定向
-L 參數會讓 HTTP 請求跟隨服務器的重定向。curl 默認不跟隨重定向。
1curl -L -d 'tweet=hi' https://api.example.com/tweet
值得注意的是，這種重定向方式不適用於在返回的 HTML 中的重定向，比如這種是不被 curl 識別的重定向(這部分內容由 curl -v -L <url> 生成)
1* Connected to example.com (*.*.*.*) port 80 (#0)
2> GET / HTTP/1.1
3> Host: example.com
4> User-Agent: curl/8.0.1
5> Accept: */*
6>
7< HTTP/1.1 200 OK
8....
9< Content-Type: text/html
10<
11<html>
12<meta http-equiv="refresh" content="0;url=http://www.example.com/">
13</html>
調試參數
-v 參數輸出通信的整個過程，用於調試。
1curl -v https://www.example.com
2# --trace參數也可以用於調試，還會輸出原始的二進制數據。
1curl --trace - https://www.example.com
獲取本機外網 IP
1curl ipecho.net/plain
使用 curl 測試網站加載速度
命令有一個鮮爲人知的選項，-w，該選項在請求結束之後打印本次請求的統計數據到標準輸出。
首先，我們定義控制打印行爲的格式化字符串。新建文本文件 fmt.txt，並填入下面的內容：
1\n
2Response Time for: %{url_effective}\n\n
3DNS Lookup Time:\t\t%{time_namelookup}s\n
4Redirection Time:\t\t%{time_redirect}s\n
5Connection Time:\t\t%{time_connect}s\n
6App Connection Time:\t\t%{time_appconnect}s\n
7Pre-transfer Time:\t\t%{time_pretransfer}s\n
8Start-transfer Time:\t\t%{time_starttransfer}s\n\n
9Total Time:\t\t\t%{time_total}s\n
curl 提供了很多置換變量，可以在格式化字符串中通過 %{var} 的形式使用。完整的變量列表可以在 curl 的 manpage 中查看。簡單介紹一下我們使用的這幾個變量：
url_effective: 執行完地址重定向之後的最終 URL；time_namelookup: 從請求開始至完成名稱解析所花的時間，單位爲秒，下同；time_redirect: 執行所有重定向所花的時間；time_connect: 從請求開始至建立 TCP 連接所花的時間；time_appconnect: 從請求開始至完成 SSL/SSH 握手所花的時間；time_pretransfer: 從請求開始至服務器準備傳送文件所花的時間，包含了傳送協商時間；time_starttransfer: 從請求開始至服務器準備傳送第一個字節所花的時間；time_total: 完整耗時。
然後執行請求，通過 @filename 指定保存了格式化字符串的文件：
1curl -L -s -w @fmt.txt -o /dev/null http://www.example.com
輸出：
1Response Time for: http://www.google.co.jp/?gfe_rd=cr&dcr=0&ei=cjIaWpTkHeiQ8QfnxYzoBA
2
3DNS Lookup Time: 0.000038s
4Redirection Time: 0.207271s
5Connection Time: 0.000039s
6App Connection Time: 0.000039s
7Pre-transfer Time: 0.000067s
8Start-transfer Time: 0.260115s
9
10Total Time: 0.467691s
要求返回是壓縮的狀態
1$ curl --compressed -o- -L https://yarnpkg.com/install.sh | bash
2 % Total % Received % Xferd Average Speed Time Time Time Current
3 Dload Upload Total Spent Left Speed
4100 54 100 54 0 0 42 0 0:00:01 0:00:01 --:--:-- 42
5100 2341 100 2341 0 0 1202 0 0:00:01 0:00:01 --:--:-- 9289
6Installing Yarn!
7> Downloading tarball...
8
9[1/2]: https://yarnpkg.com/latest.tar.gz --> /var/folders/j7/3xly5sk567s65ny5dnr__3b80000gn/T/yarn.tar.gz.XXXXXXXXXX.9hJsBsrA
10 % Total % Received % Xferd Average Speed Time Time Time Current
11 Dload Upload Total Spent Left Speed
12100 57 100 57 0 0 72 0 --:--:-- --:--:-- --:--:-- 72
13100 93 100 93 0 0 63 0 0:00:01 0:00:01 --:--:-- 63
14100 643 100 643 0 0 248 0 0:00:02 0:00:02 --:--:-- 707
15100 1215k 100 1215k 0 0 153k 0 0:00:07 0:00:07 --:--:-- 305k
16
17[2/2]: https://yarnpkg.com/latest.tar.gz.asc --> /var/folders/j7/3xly5sk567s65ny5dnr__3b80000gn/T/yarn.tar.gz.XXXXXXXXXX.9hJsBsrA.asc
18100 61 100 61 0 0 356 0 --:--:-- --:--:-- --:--:-- 356
19100 97 100 97 0 0 325 0 --:--:-- --:--:-- --:--:-- 325
20100 647 100 647 0 0 1283 0 --:--:-- --:--:-- --:--:-- 1283
21100 832 100 832 0 0 1107 0 --:--:-- --:--:-- --:--:-- 812k
來源：https://github.com/jaywcjlove/linux-command
最後修改於： Wednesday, January 31, 2024
版權申明:
- 未標註來源的內容皆為原創，未經授權請勿轉載（因轉載後排版往往錯亂、內容不可控、無法持續更新等）;
- 非營利為目的，演繹本博客任何內容，請以'原文出處'或者'參考鏈接'等方式給出本站相關網頁地址(方便讀者)。