很多網(wǎng)站因?yàn)樽约旱恼`操作，給網(wǎng)站做了門(mén)檻。本來(lái)是想設(shè)成允許蜘蛛來(lái)的，卻弄巧成拙設(shè)成阻止了，所以我們要來(lái)揭秘網(wǎng)站沒(méi)有被收錄的基礎(chǔ)原因有哪些：

一、在robots.txt文件設(shè)置了屏蔽

如果在分析網(wǎng)站日志時(shí)發(fā)現(xiàn)蜘蛛每天都會(huì)在網(wǎng)站抓取，但是網(wǎng)站依然是收錄不充分，我們都知道蜘蛛來(lái)網(wǎng)站抓取時(shí)，首先會(huì)檢索網(wǎng)站是否存在robots文件，這時(shí)我們很有必要檢測(cè)網(wǎng)站的robots文件，來(lái)查看網(wǎng)站是不是已經(jīng)存在不需要抓取的頁(yè)面了，看看文件中是否含有阻止網(wǎng)站中某部分內(nèi)容，導(dǎo)致網(wǎng)站不能被充分的收錄。對(duì)于新手站長(zhǎng)不知道寫(xiě)的robots文件是否符合自己想要的結(jié)果，可以利用百度站長(zhǎng)工具robots功能，檢測(cè)robots文件寫(xiě)法是否正確。

二、robots meta標(biāo)簽設(shè)置禁止

網(wǎng)站頁(yè)面上使用了 noindex標(biāo)簽是告訴蜘蛛不允許索引這個(gè)頁(yè)面，我們更新的內(nèi)容即使質(zhì)量再高也不會(huì)被蜘蛛抓取。同時(shí)，nofollow標(biāo)簽告訴蜘蛛此頁(yè)面上的鏈接不傳遞權(quán)重，如果網(wǎng)站上的頁(yè)面鏈接都帶有nofollow，那這就明顯的告訴搜索引擎此頁(yè)面沒(méi)有任何價(jià)值。當(dāng)然蜘蛛是不會(huì)來(lái)了。如果你的網(wǎng)站遇到不能被充分收錄，檢查下meta標(biāo)簽，是否存在錯(cuò)誤的標(biāo)簽。

三、頁(yè)面深度比較深，頁(yè)面沒(méi)有被訪問(wèn)過(guò)

對(duì)于一些大型的內(nèi)容型網(wǎng)站，頁(yè)面深度比較深的情況，我們可以完善網(wǎng)站的內(nèi)鏈建設(shè)，把一些相關(guān)的頁(yè)面通過(guò)內(nèi)鏈的形式加在頁(yè)面上,不要讓網(wǎng)站的頁(yè)面變成獨(dú)立的頁(yè)面，建立好導(dǎo)航和內(nèi)鏈，或者給想要收錄的頁(yè)面增加外鏈，引導(dǎo)蜘蛛來(lái)抓取。提高頁(yè)面在搜索引擎中的權(quán)重值。盡量不要使用nofollow標(biāo)簽、JS代碼或者某些蜘蛛不能識(shí)別的轉(zhuǎn)向等代碼。

四、網(wǎng)站中大量的使用黑帽SEO優(yōu)化頁(yè)面被蜘蛛當(dāng)做是作弊的內(nèi)容

1、網(wǎng)站上如果長(zhǎng)期使用隱藏文字在頁(yè)面上進(jìn)行關(guān)鍵詞堆積，蜘蛛檢索到網(wǎng)站上存在隱藏文字和鏈接，這時(shí)你的網(wǎng)站很有可能會(huì)被蜘蛛從索引中刪除，不會(huì)再次出現(xiàn)在搜索頁(yè)面中。

2、使用和背景一樣顏色的文字，堆積大量的關(guān)鍵詞，這種作弊也很容易被檢測(cè)出來(lái)。

3、使用noscript標(biāo)簽，告訴瀏覽器當(dāng)頁(yè)面上有JS時(shí)，當(dāng)瀏覽器關(guān)閉時(shí)，頁(yè)面上該顯示什樣的內(nèi)容，事實(shí)上是在noscript標(biāo)簽中堆積很多關(guān)鍵詞，這種做法是相關(guān)有危險(xiǎn)的，很容易就會(huì)導(dǎo)致內(nèi)容被刪除。

五、低質(zhì)量?jī)?nèi)容被歸為垃圾站點(diǎn)

不管是自身網(wǎng)站的重復(fù)內(nèi)容，還是網(wǎng)站從外部獲得的重復(fù)內(nèi)容，蜘蛛都能一定程度的對(duì)其識(shí)別，對(duì)于重復(fù)的內(nèi)容頁(yè)面，蜘蛛不會(huì)繼續(xù)放入自己的數(shù)據(jù)庫(kù)，甚至?xí)?duì)一些低權(quán)重的網(wǎng)站，進(jìn)行刪除索引的操作。

在互聯(lián)網(wǎng)垃圾泡沫的時(shí)代，要想真正的做到收錄充分,擠在行業(yè)的前列，還是要堅(jiān)持去做高質(zhì)量的內(nèi)容，這樣才能長(zhǎng)久在業(yè)界生存，網(wǎng)站權(quán)重才會(huì)越來(lái)越高。