觸屏版
全國服務(wù)熱線:0571-87205688
登錄
注冊
客戶中心
關(guān)注云客
1、網(wǎng)站針對爬蟲爬取做的優(yōu)化,直接將圖片二進(jìn)制內(nèi)容放到了html中導(dǎo)致頁面長度過長,網(wǎng)站頁面長度達(dá)164k;
2、 站點優(yōu)化后將主體內(nèi)容放于最后,圖片卻放于前面;
3、爬蟲抓取內(nèi)容后,頁面內(nèi)容過長被截斷,已抓取部分無法識別到主體內(nèi)容,最終導(dǎo)致頁面被認(rèn)定為空短而不收錄。
工程師建議:
1、不建議站點使用js生成主體內(nèi)容,如js渲染出錯,很可能導(dǎo)致頁面內(nèi)容讀取錯誤,頁面無法抓取
2、 如站點針對爬蟲爬取做優(yōu)化,建議頁面長度在128k之內(nèi),不要過長
3、針對爬蟲爬取做優(yōu)化,請將主體內(nèi)容放于前方,避免抓取截斷造成的內(nèi)容抓取不全
其實這個問題,一般網(wǎng)站都不會出現(xiàn),只是極少數(shù)網(wǎng)站會采用如此不合理的頁面優(yōu)化方式。不過也給廣大網(wǎng)站提了個醒,在平時優(yōu)化網(wǎng)站時,頁面長度也是衡量一個頁面質(zhì)量能否被收錄的主要因素之一。
評論(0人參與,0條評論)
發(fā)布評論
最新評論