一個(gè)seo工作人員，特別是那些大型網(wǎng)站的seo人員來說，能獨(dú)立分析網(wǎng)站日志是一種必不可少的技能，因?yàn)榇笮偷木W(wǎng)站欄目結(jié)構(gòu)以及頁面非常的繁雜，蜘蛛也是少不了會(huì)頻繁訪問，從蜘蛛給網(wǎng)站留下的一些痕跡上面能夠掌控網(wǎng)站不少的信息，這對(duì)網(wǎng)站優(yōu)化運(yùn)營是一種非常必要的參考，前面我的文章里面也對(duì)蜘蛛狀態(tài)碼也進(jìn)行了初步的介紹，這篇文章也對(duì)網(wǎng)站日志能讀取到的信息作出了總結(jié)：

分析網(wǎng)站日志能獲取到的信息總結(jié)

一、可以看出網(wǎng)站頁面有哪些搜索引擎的蜘蛛抓取

從網(wǎng)站日志里面可以看出網(wǎng)站被哪些蜘蛛所抓取，每個(gè)類型的蜘蛛也都屬于自己的特殊標(biāo)頭，各大搜索引擎的標(biāo)頭特征如下所示：

蜘蛛抓取網(wǎng)站信息

百度蜘蛛:baiduspider

谷歌蜘蛛：Googlebot

360蜘蛛：360Spider

SOSO蜘蛛：Sosospider

雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!

有道蜘蛛：YoudaoBot，YodaoBot

搜狗蜘蛛：Sogou News Spider

MSN蜘蛛：msnbot，msnbot-media

必應(yīng)蜘蛛：bingbot

提醒：網(wǎng)站的日志里面也有可能會(huì)出現(xiàn)一些其它私人開發(fā)的抓取器所抓取，由此我們可能會(huì)發(fā)現(xiàn)一些奇怪的蜘蛛抓取痕跡。另外百度也有屬于自己的匿名蜘蛛，我們也要注意區(qū)分注意。

二、可以統(tǒng)計(jì)網(wǎng)站目錄蜘蛛抓取的總量

通過抓取總量的分析可以對(duì)比出網(wǎng)站哪個(gè)目錄更受搜索引擎的關(guān)注，一般來說蜘蛛抓取越頻繁的目錄，site網(wǎng)站此目錄的排名會(huì)相對(duì)靠前，我們也可通過目錄的蜘蛛訪問量來適當(dāng)調(diào)整目錄的結(jié)構(gòu)，對(duì)于那些抓取壓力較大但是不怎么重要的目錄也可適當(dāng)縮減鏈接入口，以免阻礙給其它重要目錄的抓取。

三、網(wǎng)站頁面的抓取。

可以從中看出哪個(gè)頁面蜘蛛是否抓取了一些沒有被收錄價(jià)值的頁面，或者老是重復(fù)的抓取了這些頁面等，那么同理要先采取措施予以頻閉，要么是運(yùn)用到nofollow標(biāo)簽，要么是robots文件等，這樣就會(huì)降低因?yàn)樗阉饕孀ト〉酱罅肯嚓P(guān)性低或者質(zhì)量度差的頁面而影響到頁面的權(quán)重傳遞這樣的不利影響。

四、蜘蛛平均抓取頁面的次數(shù)、頁面平均停留時(shí)間以及抓取的數(shù)量。

（1）、平均每次抓取頁面數(shù)=總抓取量/訪問次數(shù)

（2）、單頁抓取停留時(shí)間

（3）、頁面平均停留時(shí)間=總停留時(shí)間/訪問次數(shù)

從以上的分析能夠很清晰的看出蜘蛛是否頻繁關(guān)注自己的網(wǎng)站，而且抓取的頁面越多，深度越足也能反映出網(wǎng)站的活躍度高，而且在停留的時(shí)間上面也能初步看出網(wǎng)站的頁面和文章是否新穎或者原創(chuàng)，這是頁面質(zhì)量度的一個(gè)體現(xiàn)。

五、可以一覽蜘蛛方面各網(wǎng)頁的狀態(tài)碼

狀態(tài)碼是網(wǎng)站日志里面最重要的一個(gè)方面了，這是蜘蛛對(duì)于網(wǎng)站頁面狀態(tài)最直觀的反映，從這些狀態(tài)碼中可以看出更多詳細(xì)的信息，我前面有一篇文章對(duì)各種蜘蛛狀態(tài)碼上面給出了非常詳細(xì)的介紹。

光年日志分析工具界面

六、了解網(wǎng)站日志蜘蛛的來訪時(shí)間

對(duì)網(wǎng)站日常日志分析總結(jié)中，可以很直觀的看出每天具體是哪個(gè)時(shí)間段是蜘蛛訪問的高峰時(shí)期，我們?yōu)榱擞纤阉饕妫部梢韵鄳?yīng)調(diào)整網(wǎng)站的更新時(shí)間，爭取在蜘蛛活躍度最高的時(shí)間段更新文章，這樣對(duì)自己網(wǎng)站的收錄會(huì)有非常大的幫助，甚至還有可能達(dá)到秒收的效果！

總之，分析網(wǎng)站日志是一個(gè)非常有意義的技能，特別是網(wǎng)站建立的初期和運(yùn)營遇到狀況的時(shí)候，分析日志這個(gè)方面就更是尤為重要，當(dāng)然再碰到信息量特別大的時(shí)候，單手動(dòng)看效果是不好的，這里推薦光年老師的日志分析工具，功能非常強(qiáng)大，基本能很好的滿足一般網(wǎng)站的分析需求。