<ul id="g60s4"><pre id="g60s4"></pre></ul>
<strong id="g60s4"><nav id="g60s4"></nav></strong>
<ul id="g60s4"></ul>
  • <tr id="g60s4"></tr>
  • 
    
  • 或者

    robots文件

    作者:seo戰神 瀏覽:1920 發布時間:2018-10-23
    編輯 分享 評論 0

      robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

      搜索引擎通過一種程序robot(又稱spider),自動訪問互聯網上的網頁并獲取網頁信息。您可以在您的網站中創建一個純文本文件robots.txt,在這個文件中聲明該網站中不想被robot訪問的部分,這樣,該網站的部分或全部內容就可以不被搜索引擎收錄了,或者指定搜索引擎只收錄指定的內容。robots.txt(統一小寫)是一種存放于網站根目錄下的ASCII編碼的文本文件,它通常告訴網絡搜索引擎的漫游器(又稱網絡蜘蛛),此網站中的哪些內容是不能被搜索引擎的漫游器獲取的,哪些是可以被(漫游器)獲取的。 因為一些系統中的URL是大小寫敏感的,所以robots.txt的文件名應統一為小寫。robots.txt應放置于網站的根目錄下。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為,那么可以將自定的設置合并到根目錄下的robots.txt,或者使用robots元數據。Robots.txt協議并不是一個規范,而只是約定俗成的,所以并不能保證網站的隱私。注意Robots.txt是用字符串比較來確定是否獲取URL,所以目錄末尾有和沒有斜杠“/”這兩種表示是不同的URL,也不能用"Disallow: *.gif"這樣的通配符。其他的影響搜索引擎的行為的方法包括使用robots元數據: 這個協議也不是一個規范,而只是約定俗成的,通常搜索引擎會識別這個元數據,不索引這個頁面,以及這個頁面的鏈出頁面robots.txt文件放在哪里?robots.txt文件應該放在網站根目錄下。舉例來說,當robots訪問一個網站時,首先會檢查該網站中是否存在這個文件,如果機器人找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的范圍。


    評論(0人參與,0條評論)

    發布評論

    最新評論

    詞條統計

  • 瀏覽次數:1920
  • 編輯次數:1次歷史版本
  • 最近更新:2018-10-23
  • 創建者:seo戰神
  • 相關詞條

    相關問答

    相關百科

    相關資訊

    久久九九AV免费精品| 一区二区三区免费精品视频| 亚洲欧洲日本精品| 久久精品免视看国产陈冠希| 99久久精品毛片免费播放| 免费日韩在线视频| 一区二区三区日韩精品| 国产在视频线在精品| 国产高清在线精品免费软件| 久久久一本精品99久久精品36| 91精品免费国产高清在线| 亚洲第一精品电影网| 98精品国产高清在线看入口| 久久国产精品麻豆映画| 国产精品丝袜一区二区三区| 国产午夜精品一区理论片| 国产成人精品日本亚洲专区61| 亚洲精品专区在线观看| 无码精品人妻一区二区三区影院| 日韩美一区二区三区| 国产欧美日韩久久久久| 中文字幕日韩一区| 日韩一区二区a片免费观看| 日韩精品福利视频一区二区三区| 亚洲欭美日韩颜射在线二| 亚洲国产日韩成人综合天堂| 午夜一级日韩精品制服诱惑我们这边| 国产精品亚洲天堂| 亚洲精品无码日韩国产不卡?V | 中国精品一级毛片免费播放| 国产精品最新国产精品第十页| 亚洲精品国产V片在线观看| 合区精品中文字幕| 国产精品99精品视频网站| 国产精品99精品视频网站| 久久99精品国产麻豆蜜芽| 99精品视频在线观看re| 亚洲日韩精品无码专区网址| 久久久91精品国产一区二区三区 | 亚洲精品在线观看视频| 99精品视频在线免费观看|