網絡爬蟲眼中的網頁是什么樣的？我們前面學了HTTP協議，然后是訪問網頁的流程，然后是現在網頁的樣子。爬蟲眼中的網頁是什么樣的？

 

動態IP模擬器

 

IP模擬器代理是企業級大數據抓取HTTP動態IP服務提供商，為數百家企業用戶提供海量、優質的HTTP代理IP。全國已建成180多間機房，低延遲，高可用，專業穩定！歡迎免費試用。...

 

web是靜態的，而爬蟲是動態的，所以爬蟲的基本思想是沿著網頁上的鏈接(蜘蛛網的節點)爬取有效信息。當然，網頁也是動態的(一般用PHP或ASP編寫，比如用戶登錄界面是動態網頁)，但如果一張蜘蛛網搖搖欲墜，蜘蛛會覺得不太安全，所以動態網頁的優先級一般被搜索引擎排在靜態網頁之后。

 

知道爬蟲的基本思想，如何操作？這得從網頁的基本概念說起。一個網頁有三個組成部分，即html文件，css文件和JavaScript文件。如果把一個網頁看成一座房子，那么html就相當于房子的外殼；Css相當于地板磚涂層，美化了房子的外部和內部；JavaScript相當于家具、電浴等。，增加了房子的功能。從上面的比喻可以看出，html是網頁的基礎。畢竟地磚顏料市面上也有，家具電器都可以露天擺放，房子外殼也是獨一無二的。