本人從事SEO多年，優(yōu)化的案例從幾千到幾十萬IP的都有，正規(guī)灰色都有，正規(guī)站從未主動發(fā)過外鏈。也很不理解為什么非要去做外鏈。就非企業(yè)站點來說，單錨本文提升單詞效果不大，可能是因為優(yōu)化的站點原因。我接手的都是比較中大型的網(wǎng)站，不會刻意的去堆砌某個關(guān)鍵字的排名，更不用說去專門做某詞的錨文本進行投票了。那么應(yīng)該如何優(yōu)化大型站點呢。我覺得最重要的因素就是架構(gòu)/結(jié)構(gòu)。今天跟大家分享首要的架構(gòu)：url優(yōu)化。

　　URL優(yōu)化的效果跟站點在百度的權(quán)重關(guān)聯(lián)性不大，但是對收錄、蜘蛛爬行和傳遞權(quán)重有明顯的提升。我雖然不常發(fā)貼但是經(jīng)常觀察到大部分SEO的提問都是收錄怎么怎么不好，權(quán)重怎么怎么不高，我也觀看過很多站點，很多基礎(chǔ)的工作完全都處于迷糊的狀態(tài)。試想換一種思路，站長變成spider來爬行你的站，我相信大部分站長自己都跑不通。這里我只給出url優(yōu)化的幾個重要點。

　　1.URL一致性：URL 一致性是一個非常重要的指標，推薦大家一本書《走進搜索引擎》里面有介紹spider是一種機器程序，而非人腦，雖然也有學習的過程，但是國內(nèi)網(wǎng)站千千萬，每個網(wǎng)站有不同的url規(guī)范，你如果url命名規(guī)則雜亂無章spider又怎能高效的辨別你的內(nèi)容規(guī)范？ 這里舉個個人覺得做的比較好的case：“下載吧”。讀者可以去翻閱下載吧的網(wǎng)站。他的主體結(jié)構(gòu)為：首頁=>列表頁=>內(nèi)容頁 。這里因地制宜，只是舉例可能并不適合你的站點。

　　下載吧我分析到他的優(yōu)化權(quán)重承載頁為他的內(nèi)容頁。而百度有“偏權(quán)重”的說法(見2)，所以他把所有的列表頁統(tǒng)一用downlist/1~*.html的寫法。沒有給予列表頁過于集權(quán)也避免了“偏權(quán)重”的影響。 這樣子spider可以很自由的識別，只要在downlist目錄下面的(數(shù)字.html)都屬于他的列表頁，層次清晰，爬取也很流暢。而他的集權(quán)重心在于內(nèi)容頁。內(nèi)容頁統(tǒng)一url為html/1~*.html 通過標簽優(yōu)化和鏈輪把權(quán)重導向給html下面的目錄。“偏權(quán)重”集中在html目錄下。spider也很清晰的可以判斷/html目錄下面的(數(shù)字.html)都屬于內(nèi)頁，層次清晰、爬取流暢，權(quán)重傳遞的也很集中，這也屬于集權(quán)的一種做法。自然收錄好權(quán)重高了。

　　2.偏權(quán)重：偏權(quán)重可能是我自己創(chuàng)造的一個首發(fā)詞，大神們勿噴。通過我多年的分析發(fā)現(xiàn)，每個站點的流量是有集中點的。這個從愛站的工具里面大家可以看出來，這里拿我一個客戶和朋友的網(wǎng)站給大家做做案例。

　　同一個網(wǎng)站 90%的流量都出自于某個目錄，在這里面內(nèi)容類型內(nèi)容質(zhì)量都是一樣的。相信大家在自己作站過程中也有所體會，百度會偏向給權(quán)重到某個目錄。考慮到這個問題，url一致性和目錄規(guī)劃就更重要了。

　　3.爬行原理：蜘蛛爬行原理有 深度優(yōu)先和寬度優(yōu)先這里分開說一下：

　　(1)深度優(yōu)先：深度優(yōu)先適用于一些大站，蜘蛛很渴望得到他的內(nèi)容，比如新浪網(wǎng)易他們的目錄很長，也能收錄。假如我們給蜘蛛一個線程只能爬取一個頁面，爬行軌跡：首頁-封面頁-頻道頁-內(nèi)容頁，那么你網(wǎng)站的結(jié)構(gòu)是：首頁=> xxx/a=> xxx/a/b=> xxx/a/b/c/1.html=>。蜘蛛會沿著你的深度爬行進去，但是無論多大的站，你的深度也必須有限，否則蜘蛛不可能無窮盡的挖掘進去，爬累了自然就會離開。并且內(nèi)容也沒帶回去。

　　(2)寬度優(yōu)先：這個是我非常推崇的，而且我所有新站都是這種效果。我自己建了5天的站蜘蛛爬行800次。效果說明在扁平化的今天，寬度優(yōu)先是可以讓蜘蛛非常高效的爬行和返回的。url結(jié)構(gòu) xxx/a/ xxx/b/ xxx/c/ 這類的叫寬度優(yōu)化，爬行軌跡 ：首頁-頻道頁A-頻道頁B-頻道頁C/首頁-頻道頁A-內(nèi)容頁A1-內(nèi)容頁A2-內(nèi)容頁A*

　　綜上所述。其實可以看出：寬度優(yōu)先的效率明顯高于深度優(yōu)先。而且蜘蛛的任務(wù)類別也單一，非常容易識別。同一線程爬取的幾乎是同一類型頁面，頁面樣式，外觀相同。蜘蛛不必花時間過于的去分析你的頁面內(nèi)結(jié)構(gòu)，層次清晰。

　　4.爬蟲黑洞：這個問題不是什么新問題了。百度也有做專門的闡述，因為一些url處理不當產(chǎn)生的動態(tài)參數(shù)后綴，或是刻意圈住蜘蛛所做的無限循環(huán)，這種的效果明顯是弊大于利。對URL 的規(guī)劃上一定要想辦法盡可能的處理掉無限動態(tài)參數(shù)后綴，并且也要合理的給蜘蛛出口，這才是真正有利于SEO 的做法，關(guān)于處理爬蟲黑洞的辦法這里我不做多講解。《巧用robots避免蜘蛛黑洞》。