IP模擬器爬蟲(chóng)的速度會(huì)影響目標(biāo)網(wǎng)站的服務(wù)器。 所以，為了不給目標(biāo)網(wǎng)站造成不必要的損失，爬蟲(chóng)的速度一定要控制好，不能太快，也不能太慢，沒(méi)有耐心，那么如何限制爬蟲(chóng)速度呢？ 我們來(lái)看看用IP模擬器代理優(yōu)化爬蟲(chóng)速度的問(wèn)題。
1. 控制爬蟲(chóng)速度
1) 初始化：設(shè)置初始延遲時(shí)間 T0 和比例系數(shù) Kp（典型值 -0.05）； [ h]
2）目標(biāo)設(shè)定：設(shè)置爬蟲(chóng)速度S，如每分鐘40頁(yè)；
3）測(cè)量：統(tǒng)計(jì)每分鐘n個(gè)爬蟲(chóng)爬取的網(wǎng)頁(yè)數(shù)，可能是32，也可能是100；
4）Compare：比較n和S的大??；
5) Execute：如果n大于S，則表示速度太快，所以增加延遲； 如果 n 大于 S 如果它很小，則表示太慢，因此減少延遲。
該方案的公式如下：
Tk=Tk-1+Kp*(Sn) (3.1)
其中k=1, 2, 3 。 .. , Tk 是為第 k 次設(shè)置的延遲時(shí)間。
不要被表達(dá)式嚇到了，其實(shí)意思就是步驟5）中描述的執(zhí)行過(guò)程：速度太快（Sn小于0，則Kp*(Sn)為正） , 增加延遲時(shí)的速度（Tk 大于Tk-1）； 速度太慢（Sn大于0，Kp*(Sn)為負(fù)），減小延遲（Tk小于Tk-1）。
假設(shè)初始延遲時(shí)間T0為1.0s，比例系數(shù)Kp為-0.05，爬行速度S設(shè)置為40頁(yè)/分鐘。 如果一個(gè)爬蟲(chóng)爬取的網(wǎng)頁(yè)數(shù)為n=100，根據(jù)公式3.1計(jì)算的延遲值為T(mén)1=T0+Kp*(Sn)=1.0+(-0.05)*(40-100)=4.0； 下一次可能的測(cè)量值n=30，計(jì)算出的延遲值T2=4.0-0.05*10=3.5。
合理控制履帶速度非常有必要。 如果爬行速度快，增加延遲時(shí)間； 如果履帶速度較慢，則減少延遲時(shí)間。
二、提高爬坡蠕蟲(chóng)速度
首先要確定當(dāng)前的瓶頸在哪里，網(wǎng)絡(luò)io，磁盤(pán)io，還是cpu。 只有這樣，才能詳細(xì)分析具體問(wèn)題。
如果編程能力是瓶頸，添加多線(xiàn)程特性是最劃算的，而且不需要太多開(kāi)發(fā)時(shí)間。 不過(guò)后續(xù)的問(wèn)題可能比較多，幾行代碼也解決不了。
分布式解決cpu瓶頸，更多節(jié)點(diǎn)可以處理分布式任務(wù)。
云服務(wù)器解決本地帶寬瓶頸（一般100MB計(jì)劃提供），定期定量購(gòu)買(mǎi)可以節(jié)省成本（畢竟搜索引擎不常開(kāi)），目標(biāo)服務(wù)器帶寬限制 （基于IP）由跨區(qū)域服務(wù)器解決。 云服務(wù)器提供商有多個(gè)機(jī)房。 分布式節(jié)點(diǎn)所在的機(jī)房可以緩解這個(gè)問(wèn)題。 最好提供動(dòng)態(tài)IP。
以上介紹了控制爬行速度和提高爬行速度的方法，僅供參考！ 建議在抓取數(shù)據(jù)的時(shí)候注意不要給目標(biāo)網(wǎng)站施加太大的壓力。 在爬取過(guò)程中，如果遇到IP限制問(wèn)題，可以使用代理IP突破限制，提高采集速度。 使用代理IP，選擇IP模擬器代理，千萬(wàn)IP池滿(mǎn)足爬蟲(chóng)需求。
