機器人協(xié)議
作者：重慶小面
瀏覽：1250次
發(fā)布時間：2017-06-25
編輯
分享
評論
贊0
機器人協(xié)議(Robots.txt)不過是一個TXT文本文件，存在于你域名根目錄之下，作用是將網(wǎng)站的目錄結(jié)構(gòu)信息告訴爬蟲和蜘蛛，并限制其對特定文件夾和內(nèi)容的訪問，或者是完全將它們關(guān)在門外。
猜你喜歡