做seo我們需要經(jīng)常性的去看我們網(wǎng)站的服務(wù)器日志，也就是iis日志，因?yàn)槲覀冃枰芎玫恼莆罩┲肱廊×宋覀兙W(wǎng)站的什么地方，哪個(gè)頁(yè)面。但是 有些朋友有的時(shí)候在進(jìn)行例行檢查的時(shí)候，卻發(fā)現(xiàn)蜘蛛爬取了一些我們網(wǎng)站并不存在的頁(yè)面，今天SEO就講解下為什么百度蜘蛛會(huì)爬取我們網(wǎng)站沒(méi)有的頁(yè)面。
　　1、蜘蛛是怎么發(fā)現(xiàn)我們網(wǎng)站的鏈接的?
　　我們都知道，蜘蛛是沿著鏈接爬來(lái)爬去的，他會(huì)自動(dòng)提取網(wǎng)站中所有的鏈接，保存入庫(kù)，然后進(jìn)行爬取，這也就是為什么我們覺(jué)得網(wǎng)站的收錄少了或者剛發(fā)布的文章沒(méi) 有被收錄，我們就會(huì)說(shuō)“引蜘蛛”了，其實(shí)引蜘蛛就是發(fā)外鏈了，當(dāng)這條鏈接唄蜘蛛發(fā)現(xiàn)之后，他就會(huì)進(jìn)行爬取，然后通過(guò)一系列復(fù)雜的算法之后，決定是否放出該 頁(yè)面的收錄。
　　2、為什么會(huì)爬到不存在的頁(yè)面?
　　一般情況下，有這么幾個(gè)問(wèn)題
　　a、被對(duì)手惡意刷外鏈，也就是說(shuō)競(jìng)爭(zhēng)對(duì)手惡意的給你發(fā)了很多的不存在的頁(yè)面鏈接，當(dāng)蜘蛛發(fā)現(xiàn)之后就會(huì)來(lái)爬取
　　b、以前做的外鏈，后來(lái)由于網(wǎng)站改版而某些鏈接沒(méi)有及時(shí)的去除，蜘蛛定期回訪的時(shí)候爬取了這條鏈接
　　c、此種僅限老域名，之前的網(wǎng)站結(jié)構(gòu)和我們現(xiàn)在的網(wǎng)站結(jié)構(gòu)不一致，也類(lèi)似于b中的說(shuō)法
　　d、robots文件沒(méi)有對(duì)蜘蛛進(jìn)行限制
　　e、程序的原因，導(dǎo)致搜索引擎蜘蛛掉入黑洞
　　f、url提交或者ping給百度地址有誤
　　蜘蛛爬取不存在的頁(yè)面，一般情況下都是由于這些問(wèn)題導(dǎo)致的，其中最主要的原因就是外鏈部分，所以我們要經(jīng)常性的去檢查下我們網(wǎng)站的外鏈情況。
　　下面提供解決辦法：
　　這些方面綜合來(lái)講，一般我們只需要這么做，基本就能夠減少這種情況的發(fā)生，如果是鏈接導(dǎo)致的，那么就去百度站長(zhǎng)平臺(tái)使用外鏈拒絕工具拒絕掉，并提交網(wǎng)站的死鏈接，同時(shí)使用robots屏蔽蜘蛛抓取這些內(nèi)容；如果是程序問(wèn)題，就修復(fù)程序。。