什么是Robots協議？
作者：四色花
瀏覽：438次
發布時間：2017-12-08
分享
評論
贊3
1Robots.txt存儲位置？
Robots文件必須換在網站的根目錄下，因為搜索引擎抓取網頁是從根目錄開始，而蜘蛛抓取網站內容時會先檢測Robots文件，按照Robots文件的規則去抓取網站內容（即要查看其它網站的Robots文件可以直接輸入“域名/robots.txt”就能看到具體內容）。
2Robots與Nofollow的區別？
Robots與Nofollow的本質區別在于Nofollow只是在當前網頁禁止蜘蛛跟蹤超鏈接，而蜘蛛可能會通過其它路徑抓取到被Nofollow的網頁。而Robots是禁止搜索引擎索引Disallow的網頁。也就是說在搜索引擎可以搜索到Nofollow掉的網頁，但是搜索不到Robots Disallow的網頁。
3Robots的語法規則？
Sitemap指定網站地圖的路徑（即Sitemap: http://www.lincox.cn/sitemap.xml）。User-agent指定具體的搜索引擎蜘蛛（User-agent: *，代表所有搜索引擎、User-agent: Baiduspider指定百度搜索引擎蜘蛛、User-agent:Googlebot指定谷歌搜索引擎蜘蛛）。Allow:是允許抓取的路徑，Disallow:是禁止抓取的路徑。可以使用通配符：Disallow: /*.css$禁止蜘蛛爬取所有css文件（具體可以查看本站的Robots文件）。
4Robots的運用？
通過Robots禁止網站后臺登入地址被搜索引擎收錄，避免黑客使用搜索引擎的inulr命令找到網站后臺的登入地址，以提高網站的安全性。同時也可以禁止蜘蛛抓取容量較大的文件，以提高網站的訪問速度
猜你喜歡
評論(0人參與，0條評論)
發布評論
最新評論