在爬取國(guó)外被[]墻網(wǎng)站數(shù)據(jù)時(shí)linux命令，就必須使用命令行代理了，要不然就得在國(guó)外買(mǎi)一臺(tái)服務(wù)器跑了。。
1、首先你需要有一把梯子，梯子教程不講，[滑稽]
pip insatll shadowsocks
2、然后配置shadowsocks（一個(gè)json格式文件）：
{
"server":"服務(wù)器地址",
"server_port":port,
"local_address":"127.0.0.1",
"local_port":1080,
"password":"password",
"method":"aes-256-cfb",
}3、然后就是連接服務(wù)器，監(jiān)聽(tīng)端口1080，關(guān)閉 的話(huà)可以直接 kill pid
sudo sslocal -c shawsockets.conf -d start4、安裝polipo
1、簡(jiǎn)單介紹： 我們之前提到過(guò)nginx在做反向代理服務(wù)器時(shí)linux命令，本身就具有緩存功能的,只不過(guò)它的緩存,是緩存在文件當(dāng)中的, 而內(nèi)存當(dāng)中緩存的只是文件描述符,源文件(所謂的文件屬性),所以nginx本身在提供 緩存方面的能力就不甚理想,(后端application server的執(zhí)行結(jié)果).那么因此就有專(zhuān)門(mén)的服務(wù)器,提供緩存的.squid這是一款非常古老的緩存服務(wù)器,它既能夠?qū)崿F(xiàn)正向代理,又能實(shí)現(xiàn)反向代理,并且還能夠作為緩存服務(wù)器進(jìn)行使用.并且還能夠使用acl.squid非常古老,在上個(gè)世紀(jì)90年代,squid絕對(duì)是一統(tǒng)天下的.市面上幾乎百分之90的站點(diǎn)在實(shí)現(xiàn)網(wǎng)站加速務(wù)的時(shí)候都是 squid來(lái)做反向代理.squid能夠代理的協(xié)議有：http ftp gopher, ssl.。wproxy是一款運(yùn)行在windows系統(tǒng)上的代理服務(wù)器軟件，可以給局域網(wǎng)的其他電腦提供代理上網(wǎng)服務(wù)，可以用作單獨(dú)的代理服務(wù)器，也可以和wfilter軟件結(jié)合進(jìn)行上網(wǎng)行為管理，支持http、socks、pop3、smtp代理服務(wù)，并且支持高速web緩存和代理驗(yàn)證。 wproxy免費(fèi)代理服務(wù)器軟件是一款運(yùn)行在windows系統(tǒng)上的代理服務(wù)器軟件，可以給局域網(wǎng)的其他電腦提供代理上網(wǎng)服務(wù)，支持http、socks、pop3、smtp代理服務(wù)，并且支持高速web緩存和代理驗(yàn)證。
sudo apt-get install polipo5、配置polipo
在家目錄中創(chuàng)建 .polipo 文件
socksParentProxy = "localhost:1080"
socksProxyType = socks56、啟動(dòng)&停止polipo
sudo service polipo start
sudo service polipo stop7、使用
http_proxy=127.0.0.1:8123 curl ip.gs
Current IP / 當(dāng)前 IP: 172.93.38.1xx
...
...
/\_/\
=( °w° )=
) ( //
(__ __)//
8、 設(shè)置環(huán)境變量 然后省去每次使用代理時(shí)輸入http_proxy
把下面兩條命令放在.bashrc 文件里 如果使用的時(shí)zsh 就放在.zshrc里
