不清楚我們的網站百度蜘蛛是否來過,不知道我們網站百度蜘蛛是否能來,那你可以利用網站日志來分析蜘蛛是否來過,爬行過哪些頁面,什么時候來過等問題,那么我們應該如何去分析網站蜘蛛日志。
在我們分析網站日志的前提是必須要下載ISS日志,一般的情況下,我們都使用ftp,那么ISS日志均為空間商會給你提供下載地址。一般是在weblog文件中,我們可以直接從這一文件中獲取站點的日志文件。一般的情況下,ISS日志是每天生成一次,但是對于網站較大,站點內容較多的可以設置每小時生成一次。
如何分析蜘蛛日志
61.135.168.22 - - [11/Feb/2014:04:02:45 +0800] " seo/3539.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
以上的代碼是我從自己的空間下載的一段日志,現在與大家一起來分析一下,這段代碼具體意思如下:
61.135.168.22:來路IP,也就是說這個用戶或者蜘蛛進來我們網站的IP是多少。
11/Feb/2014:04:02:45:時間2014年2月11日早上4點02分45秒。
seo/3539.html:蜘蛛訪問的頁面,加上網站的主域名如:http://www.xugongping.com/seo/3539.html
200:表示能夠正常訪問你的網站。
8450:表示此次加載了8450個字節。
Baiduspider:百度蜘蛛的全名。
以上是網站日志分析的細節,那么以上的內容有兩點,是我們需要注意的,同時在分析的過程中也需要記住的。那就是狀態代碼和程序名的解析。
狀態代碼
200 - 服務器成功返回網頁
404 - 請求的網頁不存在
503 - 服務器暫時不可用
500 - 服務器出現錯誤
蜘蛛名稱
百度(Baidu)爬蟲名稱(Baiduspider)
谷歌(Google)爬蟲名稱(Googlebot)
雅虎(Yahoo)爬蟲名稱(Yahoo Slurp)
有道(Yodao)蜘蛛名稱(YodaoBot)
搜狗(sogou)蜘蛛名稱(sogou spider)
MSN的蜘蛛名稱:msnbot
如何讓蜘蛛經常訪問我們的網站
那么看懂這些數據以后,很多朋友可能會很失望,覺得自己的網站蜘蛛訪問的很少甚至沒有訪問記錄,那么你也別擔心,可能是你網站的一些小問題引起了蜘蛛的不關注。下面來看看面對蜘蛛不關注我們的網站,我們應該如何操作吧。
定時更新:對于小網站或者博客網站,我們可以定時更新1-3篇少量信息,那么對于論壇門戶這種欄目較多的網站,我們就需要更具自己網站的情況來更新,以便獲得蜘蛛的青睞。
網站地圖:制作蜘蛛網站地圖,當蜘蛛在抓取你的頁面,蜘蛛會先抓取你的robots文件,所以網站地圖寫在robots文件里面來引導蜘蛛抓取網站地圖內容。
外鏈引導:我曾經做過一次這樣的實驗,新建一個文本頁面的網站,不做任何操作,僅僅在A5論壇發了一個純文本鏈接,第二天百度收錄了我的那個文本頁面。這一點說明SEO外鏈是可以引導百度蜘蛛來收錄你的網站的。
推薦此文:如果你的條件允許的情況下,你可以將你的內容文字推薦到首頁,或者在其他內容頁推薦,因為一個網站首頁的權重是最高的,所以在首頁推薦的情況下,是非常容易就可以收錄你的文章。
評論(0人參與,0條評論)
發布評論
最新評論