robots.txt
作者：紫色年華
瀏覽：910次
發(fā)布時(shí)間：2017-07-13
編輯
分享
評(píng)論
贊0
機(jī)器人文件是指在網(wǎng)站根目錄下的一個(gè)文件,通過(guò)書(shū)寫(xiě)的一些代碼,能控制搜索引擎蜘蛛的抓取行為.通過(guò)它我們能讓搜索引擎禁止或者快速抓取我們的網(wǎng)站。
猜你喜歡