Spider
作者：9527
瀏覽：1523次
發布時間：2017-04-20
編輯
分享
評論
贊0
Spider，即搜索引擎蜘蛛，指搜索引擎在互聯網中，爬行抓取網頁數據的機器程序。搜索引擎蜘蛛的工作是沿著網絡鏈接漫游Web文檔集合，并將Web文檔的數據帶回到搜索引擎數據庫中，然后以文檔中包含的未訪問鏈接作為新的起點，繼續進行漫游，直到沒有滿足條件的新URL為止。蜘蛛在爬行網頁時，并不一定會抓取未訪問的鏈接，不抓取只是爬行，就是未被收錄。
猜你喜歡