IP模擬器
如何使用動態IP代理來迎合爬蟲系統？為了避免惡意攻擊，企業正在制作網站系統。寫爬蟲的時候，有些網站會有一些反爬蟲的措施，比如限制單個ip的訪問頻率，突破ip限制大概有以下幾種方式:
與抓取的網站合作，將自己的ip加入白名單；
買多臺公共ip的服務器，每臺都有爬蟲腳本，相當于每臺爬蟲都有自己獨立的IP；
買一些便宜的ip資源，用這些IP做代理(可以是低配置的服務器，每臺機器多個公網IP，只負責網絡代理，不跑業務)。
1.既然選擇抓取人的數據，那么初期應該沒有合作的意向和渠道。
2.多臺服務器成本高，同一個爬蟲部署在多個地方，維護成本也高(配置、部署、升級、爬蟲之間的相互協調等。).
3，成本低，不需要在很多地方部署腳本。
本文將從原理到實現一步步解釋模式3。
Http代理原則
當訪問一個站點時，網站服務器可以獲取訪問者的ip。服務器可以根據ip的請求進行一些限流操作。相反，代理在訪問者和網站之間添加了一個中介。向訪問者中間人發送請求，中間人將請求轉發給站點，最后中間人將站點的響應返回給訪問者。在這個過程中，網站只能看到代理商(中間人)的ip。
沒有代理:訪問者的網站(網站看到訪問者的ip)
有代理的情況:訪問者代理站點(站點看到代理的ip)
有動態代理:訪客[代理1，代理2，代理3，...]站點(該站點看到多個代理的隨機ip)
嘗試卷曲
你可以通過訪問http://httpbin.org/ip:獲得自己的ip
卷曲http://httpbin.org/ip{ "起源":" 58.243.254.31"}
你可以看到我的外網ip是58.243.254.31。Curl支持- proxy參數來指定代理:
curl-proxy http://localhost:1087 http://httpbin.org/ip{ " origin ":" 217 . 197 . 160 . 199 " }
使用代理后，我的ip(訪問過的網站)變成了217.197.160.199。通過以上實驗，你一定對代理有了一定的認知。
用nodejs寫一個簡單的爬蟲
這個爬蟲非常簡單，即它請求http://httpbin.org/ip并將返回值打印到控制臺。
#創建一個名為node-crawler mkdir node-crawler的文件夾#輸入此文件夾cd node-crawler#創建一個默認包. jsonnpm init -y#安裝請求取決于npm i -S請求#創建一個名為index.js TouchIndex.js的新文件。
index.js的內容如下:
const request = require(" request ")；Request(，(err，res，body)=>{ //暫時忽略錯誤消息，直接打印body console . log(body)；});
在控制臺上執行node index.js，您將獲得以下輸出:
{ "origin": "58.243.254.31，58.243.254.31"}
與curl類似，我們可以為請求方法配置代理參數:
const request = require(" request ")；request({ URL:" http://http bin . org/IP "，proxy: "http://localhost: 1087"}，(err，res，body)= > {//暫時忽略錯誤消息，直接打印body console . log(body)；});
再次執行node index.js，您將獲得以下輸出:
{ "origin": "217.197.160.199，217.197.160.199"}
至此，單個http代理已經完成。接下來，我們討論如何在多個http代理之間動態地來回切換，以削弱被爬取的站點對訪問者ip的限制。
第一個方案
從外部將ip代理參數傳遞給爬蟲腳本，爬蟲運行后自動退出，然后取另一個ip代理參數，爬蟲腳本重新運行，循環往復。
您可以像這樣編寫一個shell腳本:
#!/usr/bin/env bash#假設有2個http代理可用=(' http://a . b . c . d:8443 ' ' http://h . I . j . k:1087 ')；# while(真)一遍又一遍；Do #一次取出“$”中p的一個代理；Do echo使用代理$p #運行crawler PROXY=$p node index.js #休眠一段時間
其中PROXY=$p是定義環境變量的代理，其值是兩個http代理中的任意一個。讓我們修改index.js，使用代理環境參數作為它的代理:
const request = require(" request ")；const proxy = process . env . proxy；request({ URL:" http://http bin . org/IP "，proxy}、(err，res，body)= > {//暫時忽略錯誤消息，直接打印body console . log(body)；});
該方案使用bash腳本和js爬蟲腳本。對于不了解bash的人來說，維護起來有一定的心理負擔。接下來我們用純js語言來實現。
第二個方案
將方案一中的bash轉換為js，并將index.js的內容調整為:
const request = require(" request ")；const proxy =[" http://a . b . c . d:8443 "，" http://h . I . j . k:1087 "]；main()；// index是循環執行函數main (index = 0)的次數{ request({ URL:" http://http bin . org/IP "，//take proxy:proxy[index % proxies . length]}，(err，res，body)= > {//暫時忽略錯誤消息。//5秒后取下一個代理，重新運行爬蟲setTimeout( main，5000，index+1)；});}
綜上所述，我們實現了從不使用代理，使用單個代理，再使用多個代理的過程，讓我們的爬蟲盡可能少的受到服務器電流限制的影響。我們還研究了當一個需求有多種解決方案時，如何選擇經濟成本、開發成本和維護成本。
