robots
作者：優(yōu)化師猴子
瀏覽：393次
發(fā)布時(shí)間：2018-03-15
編輯
分享
評(píng)論
贊0
搜索引擎通過一種程序robot（又稱spider），自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。robots.txt對(duì)于任何一個(gè)從事SEO研究工作的人都是至關(guān)重要的，因?yàn)橥高^ robots.txt 我們可以直接與搜索引擎蜘蛛進(jìn)行對(duì)話，告訴他們哪些可以抓取，哪些不可以抓取。
猜你喜歡