IP模擬器
如何選擇代理IP？這個(gè)問題因?yàn)閜ython訓(xùn)練中的爬蟲被問了無數(shù)次。一般來說，同性戀朋友問也是爬行動(dòng)物用來防止禁令。一般來說，好的質(zhì)量不便宜，便宜的質(zhì)量相對(duì)較低，一分錢一分貨。
1)代理人在整個(gè)程序中被淘汰
通過程序掃描IP段和端口找到臨時(shí)代理。
比如百度搜索“HTTP代理”，上面寫著“每日更新”、“國內(nèi)高低免費(fèi)”等等，買起來都很便宜。
他們基本一樣，沒有誰好誰壞，幾個(gè)平臺(tái)提供的代理，重復(fù)率至少30%。
這種代理，有效期不高，即使批量驗(yàn)證，使用的時(shí)候還是會(huì)部分廢除，可以應(yīng)付低效的收集和單次訪問，但是忘了做別的。
2)ADSL撥號(hào)服務(wù)器
ADSL撥號(hào)，斷開再連接IP，淘寶賣，有限區(qū)域撥號(hào)，全國撥號(hào)。相對(duì)穩(wěn)定，至少比掃描的IP強(qiáng)很多，但是切換IP需要很長時(shí)間，需要幾秒到一分鐘。
所以，如果采集是每次訪問切一次IP，效率會(huì)比較慢，只能在當(dāng)前IP被對(duì)方封禁掉的情況下才能撥打新的IP。
ADSL撥號(hào)可以應(yīng)對(duì)收藏、刷訪問、刷點(diǎn)擊等。效率不高。
3)第三方訪問
比如通過谷歌網(wǎng)頁翻譯、有道網(wǎng)頁翻譯、http Proxy Browser等第三方訪問渠道請(qǐng)求目標(biāo)網(wǎng)頁。
速度慢，采集捕捉目標(biāo)內(nèi)容時(shí)干擾大。
4)動(dòng)態(tài)IP模擬器軟件
HTTP代理
比如“flyvpn”和“greenvpn”，集合的意思是直接用ban改IP，而動(dòng)態(tài)IP模擬器軟件本身的可靠代理相當(dāng)穩(wěn)定，就是人要在電腦旁邊，手動(dòng)改。但是偶爾查一下百度幾萬個(gè)關(guān)鍵詞的排名和幾萬個(gè)頁面的收錄情況，使用VPN還是挺悠閑的，這個(gè)量級(jí)總共也改變不了多少次。
5)自建代理
買一個(gè)服務(wù)器，用squid+stunnel搭建一個(gè)HTTP代理服務(wù)器。Tinyproxy就行。Squit用于實(shí)現(xiàn)http代理，stunnel在代理上搭建隧道實(shí)現(xiàn)加密。
如果你覺得ip數(shù)量少，那就多買幾臺(tái)服務(wù)器，配置squid~~
因?yàn)槎际亲越ù恚际仟?dú)家真實(shí)的IP，都相當(dāng)穩(wěn)定。收藏、搶購、刷票、刷點(diǎn)擊、刷主播人氣什么的，只要有錢就能上飛機(jī)~ ~
去年收到爬蟲列表，搶到一個(gè)國外股票網(wǎng)站，總頁面數(shù)千萬。反爬蟲惡心，無奈之下買了20臺(tái)低配機(jī)做HTTP代理服務(wù)器，一個(gè)月5000元~ ~
5)自建代理服務(wù)商
懶得做以上方法也沒關(guān)系。找一個(gè)做類似服務(wù)的企業(yè)，開一個(gè)api端口。
這里推薦IP模擬器代理，專業(yè)的IP代理。
