Baiduspider抓取頻次原則及調(diào)整方法  Baiduspider根據(jù)上述網(wǎng)站設(shè)置的協(xié)議對站點頁面進行抓取,但是不可能做到對所有站點一視同仁,會綜合考慮站點實際情況確定一個抓取配額,每天定量抓取站點內(nèi)容,即我們常說的抓取頻次.那么百度搜索引擎是根據(jù)什么指標來確定對一個網(wǎng)站的抓取頻次的呢,主要指標有四個:

  1,網(wǎng)站更新頻率:更新快多來,更新慢少來,直接影響B(tài)aiduspider的來訪頻率  2,網(wǎng)站更新質(zhì)量:更新頻率提高了,僅僅是吸引了Baiduspier的注意,Baiduspider對質(zhì)量是有嚴格要求的,如果網(wǎng)站每天更新出的大量內(nèi)容都被Baiduspider判定為低質(zhì)頁面,依然沒有意義.

  3,連通度:網(wǎng)站應(yīng)該安全穩(wěn)定、對Baiduspider保持暢通,經(jīng)常給Baiduspider吃閉門羹可不是好事情  4,站點評價:百度搜索引擎對每個站點都會有一個評價,且這個評價會根據(jù)站點情況不斷變化,是百度搜索引擎對站點的一個基礎(chǔ)打分(絕非外界所說的百度權(quán)重),是百度內(nèi)部一個非常機密的數(shù)據(jù).站點評級從不獨立使用,會配合其它因子和閾值一起共同影響對網(wǎng)站的抓取和排序.

  抓取頻次間接決定著網(wǎng)站有多少頁面有可能被建庫收錄,如此重要的數(shù)值如果不符合站長預期該如何調(diào)整呢?百度站長平臺提供了抓取頻次工具(http://zhanzhang.baidu.com/pressure/index),并已完成多次升級.該工具除了提供抓取統(tǒng)計數(shù)據(jù)外,還提供"頻次調(diào)整"功能,站長根據(jù)實際情況向百度站長平臺提出希望Baiduspider增加來訪或減少來訪的請求,工具會根據(jù)站長的意愿和實際情況進行調(diào)整.

  造成Baiduspider抓取異常的原因  有一些網(wǎng)頁,內(nèi)容優(yōu)質(zhì),用戶也可以正常訪問,但是Baiduspider卻無法正常訪問并抓取,造成搜索結(jié)果覆蓋率缺失,對百度搜索引擎對站點都是一種損失,百度把這種情況叫"抓取異常".對于大量內(nèi)容無法正常抓取的網(wǎng)站,百度搜索引擎會認為網(wǎng)站存在用戶體驗上的缺陷,并降低對網(wǎng)站的評價,在抓取、索引、排序上都會受到一定程度的負面影響,最終影響到網(wǎng)站從百度獲取的流量.