我們做網(wǎng)站優(yōu)化都想方設(shè)法讓搜索蜘蛛進(jìn)入自己的網(wǎng)站進(jìn)行爬行抓取，從而提高網(wǎng)頁的收錄，但是蜘蛛究竟是如何抓取網(wǎng)站數(shù)據(jù)的呢？今天網(wǎng)站排名優(yōu)化就和大家分享下，搜索引擎蜘蛛是如何爬取我們網(wǎng)站數(shù)據(jù)的。

　　在搜索引擎蜘蛛系統(tǒng)中，待爬取URL隊(duì)列是決定性因素。蜘蛛爬取的網(wǎng)站頁面URL順序排列，形成一個(gè)隊(duì)列結(jié)構(gòu)，調(diào)整程序時(shí)每次從隊(duì)列開頭取出某個(gè)URL單元，發(fā)送給網(wǎng)頁下載器頁面內(nèi)容，這樣每個(gè)新下載的頁面中就包含了上個(gè)URL單元，新加載的頁面會追加到待爬取URL隊(duì)列的末尾，如此形成一個(gè)循環(huán)，幫助蜘蛛爬行抓取網(wǎng)頁信息。那么待爬取URL隊(duì)列中的頁面URL 的排列順序是怎樣確定的呢?下面就跟seo優(yōu)化公司來進(jìn)行更深入的分析。

　　第一、寬度優(yōu)化遍歷策略

　　寬度優(yōu)化遍歷策略是一種簡單易行而且比較原始的遍歷方法，從搜索引擎蜘蛛一出現(xiàn)就廣為流傳使用了。隨著網(wǎng)站優(yōu)化技術(shù)的進(jìn)步，新提出的眾多抓取策略往往也是以這種方法為基礎(chǔ)加以改進(jìn)，但值得注意到的是，這種原始策略是一種相當(dāng)有效的方法，甚至要比很多新技術(shù)更加好用，所以至今這種方法仍被許多爬蟲系統(tǒng)優(yōu)先采用。網(wǎng)頁爬取順序基本按照網(wǎng)頁的重要性排列。其用法類似于H標(biāo)簽，重要的優(yōu)先檢索，主次分明。實(shí)際上寬度優(yōu)化遍歷策略隱含了一些網(wǎng)頁優(yōu)化級假設(shè)。

　　第二、非完全pagerank策略

　　PageRank是一種谷歌的專有算法，用來衡量特定網(wǎng)頁相對于搜索引擎網(wǎng)頁的重要性。PageRank算法也可以套用在URL優(yōu)化級排序上。但是不同的是，PageRank是個(gè)整體性算法，也就是說當(dāng)所有網(wǎng)頁下載完成后，其計(jì)算結(jié)果才是可靠的，而蜘蛛爬取網(wǎng)頁時(shí)，在運(yùn)行過程中只能看到一部分頁面，這樣就無法獲得可靠的PageRank得分。

　　第三、OPIC策略( Online Page Importance Computation)

　　OPIC直譯為“在線頁面重要性計(jì)算”，可以看做是PageRank算法的一種改進(jìn)。在算法開始之前，每個(gè)網(wǎng)站頁面都要給予相同的現(xiàn)金，每當(dāng)下載了某個(gè)頁面P后，P頁面就將自己擁有的現(xiàn)金根據(jù)鏈接走向平均分配給下面的頁面，終將自己的現(xiàn)金清空。而對于待爬取URL隊(duì)列中的網(wǎng)頁，則根據(jù)頁面所擁有的現(xiàn)金金額多少排序，優(yōu)先下載現(xiàn)金充裕的網(wǎng)頁。OPIC策略與PageRank思想基本一致，區(qū)別在于：PageRank每次都需要迭代計(jì)算，而OPIC策略則省去了迭代過程，加快了運(yùn)算速度。