robots.txt
作者：聚擎
瀏覽：825次
發(fā)布時(shí)間：2017-06-03
編輯
分享
評(píng)論
贊0
搜索引擎通過一種程序robot（又稱spider），自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信 息。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt，在這個(gè)文件中聲明該網(wǎng)站中不想被robot 訪問的部分，這樣，該網(wǎng)站的部分或全部?jī)?nèi)容就可以不被搜索引擎收錄了，或者指定搜 索引擎只收錄指定的內(nèi)容。
猜你喜歡