蜘蛛是搜索引擎爬取網(wǎng)絡(luò)之中各種網(wǎng)絡(luò)資源的爬蟲，搜索引擎希望能夠在最短的時(shí)間內(nèi)爬取更多的頁(yè)面，在保證一定用戶體驗(yàn)的前提下，爬取收錄更多的有價(jià)值的頁(yè)面。各大搜索引擎都會(huì)派出網(wǎng)頁(yè)蜘蛛，一些高權(quán)重和更新量穩(wěn)定的網(wǎng)站通常每天都有幾次蜘蛛爬取，然后經(jīng)過(guò)這些網(wǎng)站之中的鏈接再次作為出發(fā)站點(diǎn)訪問(wèn)頁(yè)面上的其他站點(diǎn)。頁(yè)面被收錄之后將頁(yè)面的簡(jiǎn)要描述和標(biāo)題存入搜索引擎的數(shù)據(jù)庫(kù)，在用戶搜索時(shí)根據(jù)排名顯示索引信心。為了優(yōu)化蜘蛛的爬取頁(yè)面體驗(yàn)，seo站長(zhǎng)需要從以下4個(gè)方面去出發(fā)。

　　1.高質(zhì)量規(guī)律更新

　　蜘蛛最希望收錄的是哪些有價(jià)值的內(nèi)容，通常來(lái)說(shuō)就是高質(zhì)量的原創(chuàng)或偽原創(chuàng)文章，不必尋求一些標(biāo)新立異的內(nèi)容，適度的與其他的已經(jīng)存在的內(nèi)容相符合也是有一個(gè)好處，可以證明該類文章有著用戶搜索。

　　蜘蛛爬取一些網(wǎng)站是每天固定某些時(shí)間段的，所以最好是有規(guī)律性的更新網(wǎng)站的內(nèi)容。高權(quán)重的網(wǎng)站很多時(shí)候能夠達(dá)到秒收，主要就是因?yàn)槊刻煊兄?guī)律性的更新，在每天的某一個(gè)時(shí)間段更新網(wǎng)站，更新久了之后秒收就變得容易很多，并且蜘蛛對(duì)你的網(wǎng)站信任度也將大大提高。

　　2.縮減網(wǎng)站代碼復(fù)雜度

　　縮減網(wǎng)站頁(yè)面代碼復(fù)雜度是一個(gè)很好的優(yōu)化蜘蛛體驗(yàn)的方法。蜘蛛很多時(shí)候是通過(guò)網(wǎng)站的代碼來(lái)了解該頁(yè)面對(duì)于用戶是否友好，我們seo工作者盡量就是將網(wǎng)站的代碼進(jìn)行精簡(jiǎn)，將必須的代碼標(biāo)簽進(jìn)行詳細(xì)優(yōu)化設(shè)置，將一些不那么必要的代碼進(jìn)行縮減。對(duì)于一個(gè)頁(yè)面來(lái)說(shuō)最終要的5個(gè)標(biāo)簽就是title、heading、strong、alt和metadescription標(biāo)簽，將這些代碼規(guī)范化，使用div+css的結(jié)構(gòu)對(duì)網(wǎng)站頁(yè)面進(jìn)行布局，詳細(xì)的資料可以參考《SEO如何優(yōu)化網(wǎng)頁(yè)源代碼、提升用戶體驗(yàn)》。

　　3.調(diào)整網(wǎng)站結(jié)構(gòu)

　　網(wǎng)站結(jié)構(gòu)則是希望讓蜘蛛能夠在最快的時(shí)間怕去到想要爬取的新的內(nèi)容，可以采取提高頁(yè)面的目錄層次來(lái)達(dá)到效果，也就是縮減蜘蛛從首頁(yè)到達(dá)該頁(yè)面的最短路徑。除了高頁(yè)面url的目錄層次，還有一種最為常用的方法，就是在網(wǎng)站的首頁(yè)開(kāi)出一塊區(qū)域來(lái)呈現(xiàn)我們最近更新的資源。除了以上兩種還需要做的就是網(wǎng)站的內(nèi)鏈，內(nèi)鏈做好了之后不僅僅提高蜘蛛對(duì)于單一頁(yè)面的體驗(yàn)度，還能提升蜘蛛對(duì)于網(wǎng)站停留時(shí)間。

　　4.盡量符合用戶體驗(yàn)

　　蜘蛛判斷一個(gè)頁(yè)面是否收錄很大程度上是判斷該頁(yè)面是否是符合用戶體驗(yàn)的，除了網(wǎng)站的代碼符合簡(jiǎn)潔少?gòu)棿埃€有內(nèi)容上也需要符合用戶體驗(yàn)。不同類型的網(wǎng)站有著不同的提升用戶體驗(yàn)度的方式，盡量少頁(yè)面跳轉(zhuǎn)同樣可以提升用戶的體驗(yàn)度，除了301重定向頁(yè)面，其他的所有跳轉(zhuǎn)方式都是降低頁(yè)面用戶體驗(yàn)得。有的頁(yè)面則是需要在頁(yè)面打開(kāi)速度進(jìn)行優(yōu)化，有的則是需要圖片、文字等。