在做優(yōu)化的時候，重復頁面收錄是一件很頭疼的事情，搜索引擎對于重復頁面目前來說并沒有完美的解決方案，之前看到一篇文章，大意是推薦網(wǎng)站管理員自己去屏蔽重復頁面，我們對此可以認識百度目前的技術(shù)并不能去主動解決重復頁面的問題。

　　重復頁面的危害，大多會造成關(guān)鍵詞排名下降，甚至降權(quán)，那么重復頁面是如何產(chǎn)生的呢?經(jīng)我仔細研究后發(fā)現(xiàn)，造成重復頁面的途徑，主要為以下幾點：

　　1.網(wǎng)站改版后URL重構(gòu)，造成一個頁面有2套URL，搜索引擎抓取2套URL后，造成重復頁面。

　　2.網(wǎng)站做偽靜態(tài)，偽靜態(tài)后，動態(tài)路徑和蔚靜態(tài)共存，搜索引擎抓取后，造成重復頁面。

　　3.追蹤參數(shù)，為跟蹤流量來源，細分流量渠道，多數(shù)網(wǎng)站在推廣時會在url中帶上“?”的標記

　　解決方案

　　1.使用Canonial標簽

　　Canonical 是谷歌、雅虎、微軟等搜索引擎一起推出的一個標簽，它的主要作用是用來解決由于網(wǎng)址形式不同內(nèi)容相同而造成的內(nèi)容重復問題。這個標簽對搜索引擎作用非常大，簡單的說它可以讓搜索引擎只抓取你想要強調(diào)的內(nèi)容，我們可以在頁面頭部設置該標簽，告訴搜索引擎該頁面的標準URL是什么。

　　目前已確認谷歌是支持該標簽的，百度也曾在站長平臺中確認支持該標簽，但是根據(jù)實際效果來看，百度對此支持的并不完美，仍有誤判情況出現(xiàn)。

　　2.使用robots.txt文件

　　Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網(wǎng)絡爬蟲排除標準”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

　　我們可以用robots.txt文件來屏蔽其他非標準URL，如動態(tài)URL;

　　3.使用301重定向

　 　頁面永久性移走(301重定向)是一種非常重要的“自動轉(zhuǎn)向”技術(shù)。網(wǎng)址重定向最為可行的一種辦法。當用戶或搜索引擎向網(wǎng)站服務器發(fā)出瀏覽請求時，服務 器返回的HTTP數(shù)據(jù)流中頭信息(header)中的狀態(tài)碼的一種，表示本網(wǎng)頁永久性轉(zhuǎn)移到另一個地址。在搜索引擎優(yōu)化中，301技術(shù)可以告訴搜索引擎該 頁面的新URL地址，確保權(quán)重傳遞不流失。

　　4.追蹤標記用“#”而非“?”

　　為跟蹤流量來源，細分流量渠道，在URL中添加追蹤標記是必要的，但是該標記又和seo相違背，因為添加了追蹤標記，就會產(chǎn)生重復頁面問題。之前百度站長平臺也發(fā)布公告稱：如果是為了追蹤流量，那么建議使用“#”標記，而非“?”標記，經(jīng)過本人的試驗發(fā)現(xiàn)百度確實不會收錄含有“#”標記的URL。

　　#代表網(wǎng)頁中的一個位置，是用來指導瀏覽器動作的，對服務器端完全無用。所以，HTTP請求中不包括#。

　　比如，訪問網(wǎng)址，www.xxx.cn/post/24.html/#weibo

　　瀏覽器實際發(fā)出的請求是這樣的：

　　GET /index.html HTTP/1.1

　　Host:www.xxx.cn/post/24.html

　　可以看到，只是請求www.xxx.cn/post/24.html，根本沒有"#weibo"的部分，搜索一部分實例后發(fā)現(xiàn)，百度確實未收錄含有“#”的URL;

　　備注：“#”和"#!"兩個標記完全不一樣，請勿混淆。

??????