Robots協議-作用
作者：一抹淺笑
瀏覽：886次
發布時間：2017-08-28
編輯
分享
評論
贊0
robots協議用來告知搜索引擎哪些頁面能被抓取，哪些頁面不能被抓取；可以屏蔽一些網站中比較大的文件，如：圖片，音樂，視頻等，節省服務器帶寬；可以屏蔽站點的一些死鏈接。方便搜索引擎抓取網站內容；設置網站地圖連接，方便引導蜘蛛爬取頁面。
猜你喜歡