網絡蜘蛛
作者:數風流人物
瀏覽:961次
發布時間:2018-05-22




網絡蜘蛛(Web Spider)又稱為:“網絡爬蟲”,“機器人”,簡稱“蜘蛛”。是通過網頁的鏈接地址來尋找網頁,從網站某一個頁面(通常是首頁)開始,讀取網頁的內容,找到在網頁中的其它鏈接地址,然后通過這些鏈接地址尋找下一個網頁,這樣一直循環下去,直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站,那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。