使用如下的命令下載https鏈接:
wget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --http-user=username --http-password=password
下載'dir'目錄下的所有g(shù)z文件
-np 沒(méi)有父目錄
-nd 不要構(gòu)建本地目錄結(jié)構(gòu)
--accept=gz 只下載gz文件
wget 使用詳解
1、下載單個(gè)文件
wget url+filename
下載過(guò)程中同時(shí)可以看到四項(xiàng)信息
已經(jīng)下載的比例
已經(jīng)下載的大小
當(dāng)前下載的速度
剩余的時(shí)間
2、使用一個(gè)大寫(xiě)O做參數(shù)表示另存為
wget -O save_name url
這種方法適用于對(duì)應(yīng)鏈接中沒(méi)有顯式文件名的情況。
例如：
wget -O xx.zip ?src_id=7701
再用不帶-O參數(shù)的下載一次。
ls -al
總計(jì) 132
drwxr-xr-x 2 root root 4096 07-12 10:43 .
drwxr-xr-x 4 root root 4096 07-11 16:26 ..
-rw-r--r-- 1 root root 50243 07-12 10:43 download_script.php?src_id=7701
-rw-r--r-- 1 root root 50243 07-12 10:43 xx.zip
我們發(fā)現(xiàn)，下載的大小都是一樣。但是不帶-O參數(shù)的，文件名還要轉(zhuǎn)換一次。不如用-O參數(shù)方便。
mv "download_script.php?src_id=7701" yy.zip
3、指定下載速率
方法是使用wget --limit-rate
wget程序默認(rèn)是使用所有的帶寬linux命令linux命令，如果
是在生產(chǎn)服務(wù)器上下載很大的文件就不可接受了。
為了避免這種情況使用--limit-rate參數(shù)
wget --limit-rate=200k
4、斷點(diǎn)下載
使用wget -c完成未完成的下載
下載到一半需要停下來(lái)干別的事情，用^c就可以停頓住。
回來(lái)后，繼續(xù)下載可以加一個(gè)-c參數(shù)。
注意：如果不加入-c，那么下載的文件會(huì)多出一個(gè).1的后綴。
5、在后臺(tái)下載
方法：加一個(gè)-b的參數(shù)
wget -b url/filename
為后臺(tái)下載。下載經(jīng)過(guò)寫(xiě)入到wget-log文件中。
用tail -f wget-log查看下載日志
6、模擬在瀏覽器下下載
有的網(wǎng)站不允許客戶在非瀏覽器環(huán)境下下載。使用--user-agent來(lái)設(shè)置
wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD
7、測(cè)試下載鏈接
方法:使用--spider
試圖做計(jì)劃下載時(shí)候，需要先檢查一下下載鏈接是否有效。
wget --spider DOWNLOAD-URL
如果返回OK，則表示下載鏈接是正確的！
例如
wget --spider "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"
Spider mode enabled. Check if remote file exists.
--2010-07-12 11:36:32-- ?ip=58.251.193.137&action=2
正在解析主機(jī) ip138.com... 221.5.47.136
