通過理解搜索引擎蜘蛛以最大化網站收錄率
作者：dongky
瀏覽：2338次
發布時間：2015-02-04
編輯
分享
評論
贊0
我們先來理解一個SE蜘蛛的爬行策略，常見的有二種：深度優先和廣度優先
1、 深度優先
深度優先指當蜘蛛發現一個鏈接時，它就會順著這個鏈接指出的路一直向前爬行，直到前面再也沒其他鏈接，這時就會返回第一個頁面，然后會繼續鏈接再一直往前爬行。
2、 廣度優先
從seo角度講鏈接廣度優先的意思是講的蜘蛛在一個頁面發現多個鏈接的時候，不是跟著一個鏈接一直向前，而是把頁面上所有第一層鏈接都爬一遍，然后再沿著第二層頁面上發現的鏈接爬向第三層頁面。
從理論上說，無論是深度優先還是廣度優先，只要給蜘蛛足夠的時間，都能爬完整個互聯網。在實際工作中，沒有什么東西是無限的，蜘蛛的帶寬資源和蜘蛛的時間也是一樣都是有限的，也不可能爬完所有頁面。實際上最大的搜索引擎也只是爬行和收錄了互聯網的一小部分。
我個人理解百度對新網站分配的蜘蛛第一階段都是一樣，如何利用好這一階段的蜘蛛就是我們要解決的關鍵點，方法如下：
1、減少頁與頁之間的鏈接深度
減少的主要目標有：
首頁到頻道頁的深度
頻道頁到首頁到內容頁的深度
普通頁到上級頁到首頁的深度
內容相關度的深度
專題頁的深度
解決辦法：
為網站的頁面增加更多入口
比較重要的頁面或者專題，可以在首頁或者頻道頁添加鏈接，加大其權重
利用好站內錨廣本
網站地圖減少頁面鏈接深度
2、減少網站目錄的深度
網站目錄深度實際上就是URL的目錄層次，做到網站形成扁平式，建議不要超過3級。
建議： 網站分為 首頁-頻道頁-內容頁
這三層，相關文章可以通過專題頁來匯總起來，以降低目錄深度。
猜你喜歡