搜索引擎收錄頁面實際上就是在互聯網上進行數據采集,這是搜索引擎最基礎的工作,而搜索引擎的內容都來自后臺的龐大的URL列表,通過這些URL,不斷的收錄,儲存及維護,而學習搜索引擎收錄的流程,收錄原理及收錄方式,有效的提高搜索引擎對網站的收錄的數量!

    1. 頁面收錄流程,

    在互聯網中,URL是每個頁面的入口地址,"蜘蛛程序"通過這些URL列表抓取到頁面的,"蜘蛛"不斷的從這些頁面中獲取URL資源及存儲頁面,并加入URL列表,如此不斷的循環,搜索引擎就可以從互聯網中獲取到足夠的頁面.

    URL是頁面的入口,則域名則是網站的入口,搜索引擎就是通過域名進入網站,挖掘URL資源,換而言之搜索引擎在互聯網中抓取頁面的首要任務就是要有龐大的域名列表,在不斷的通過域名,進入網站抓取網站中的頁面,

    而對于咱們而言,想搜索引擎收錄,首要條件就是加入搜索引擎的域名列表,常見加入搜索引擎的域名列表的有以下兩種方式

    利用搜索引擎提供的網站登錄入口,向搜索引擎提交網站域名,例如百度的:,可在此提交自己的網站域名,不過用此方法搜索引擎只會定期進行抓取并更新,這種做法比較被動,從域名提交網站被收錄花費的時間也比較長

    通過與有質量的"外鏈",使搜索引擎在抓取"別人"的網站頁面時發現我們的網站,從而實現對網站的收錄,這種方法主動權在我們手上,(只要我們有足夠多的"外鏈")且收錄速度比第一種方法快,根據外部鏈接的數量、質量相關性,一般2-7天就會被搜索引擎收錄

    2.頁面收錄原理

    通過學習"頁面收錄流程"可以掌握加快網站被收錄的方法,接著來學習頁面收錄原理,從而提高搜索引擎收錄的數量!

    如果把一個網站頁面組成的頁面看做是一個有向圖,從指定的頁面出發,沿著頁面中的鏈接,按照某種特定的策略對網站中的頁面進行遍歷.不停地從URL 列表中移出已經訪問的URL,并存儲原始頁面,同時提取原始頁面中的URL的信息:再將URL分為域名及內部URL兩大類,同時判斷URL是否被訪問過, 將未訪問過的URL加入URL列表中.遞歸地掃描URL列表,直至耗盡所有URL資源為止.經過這些工作,搜索引擎就可以建立龐大的域名列表、頁面URL 列表并儲存足夠多的原始頁面.

    3.頁面收錄方式,

    知道了 "頁面收錄流程"和"頁面收錄原理" 然而在搜索引擎中要獲取相對重要頁面,就涉及到了搜索引擎的頁面收錄方式,

    頁面收錄方式是指搜索引擎抓取頁面時所使用的策略,目的是為了能在互聯網中篩選出相對重要的信息,頁面收錄的方式的制定取決于搜索引擎對網絡結構的 理解.如果使用相同的抓取策略,搜索引擎在同樣的時間內可以在某一網站中抓取到更多的頁面資源,則會在該網站停留更長的時間,收錄的頁面數自然也就多了. 因此,加深對搜索引擎頁面收錄方式的認識,有利于為網站建立友好的結構,提高被收錄的數量.

    搜索引擎搜收錄頁面的方式主要要有"廣度優先"、"深度優先"及"用戶提交"(用戶提交暫時不講)三種,認識這三種頁面收錄方式及各自的優缺點!

    廣度優先

    如果把整個網站看做一棵樹,首頁就是根,每個頁面就是葉子.廣度優先是一種橫向的頁面抓取方式,先從樹的較淺層開始抓取頁面,直接抓完同層次的所有 頁面后才進入下一層.因此,在對網站進行優化時,我們應該把網站相對重要的信息展示在層次比較淺的頁面上(例如:在首頁推薦一些熱門的內容).反過來,通 過廣度優先的抓取方式,搜索引擎就可以首先抓取到網站中相對重要的頁面.

    首先,"蜘蛛"從網站的首頁出發,抓取首頁上所有連接指向的頁面,形成頁面集合A,并分析出A中所有頁面中的鏈接:在跟蹤這些鏈接抓取下一層的頁面,形成頁面集合B:就這樣遞歸地從淺層頁面中解析出鏈接,再從深層頁面,直至滿足某個設定的條件才停止抓取進程

    深度優先

    與廣度優先的抓取方式相反,深度優先首先跟蹤淺層頁面中的某一連接后逐步抓取深層頁面,直至抓完最深層的頁面才返回淺層頁面再跟蹤其另一鏈接,繼續 向深層頁面抓取,這是一種縱向的頁面抓取方式.使用深度優先的抓取方式,搜索引擎可以抓取到網站中較為隱蔽、冷門的頁面,這樣就能滿足更多用戶的需求.

    首先,搜索引擎會抓取網站的首頁,并提取首頁中的鏈接:再沿著其中的一個連接抓取到頁面 A-1,同時獲取A-1中的鏈接并抓取頁面B-1,獲取B-1中的來鏈接并抓取頁面C-1 ,如此不斷的重復,滿足到某個條件后,再從A-2抓取頁面及鏈接!