在做網(wǎng)站結(jié)構(gòu)分析之前，要理解搜索引擎蜘蛛是擬人化的算法而已。算法就是按部就班的執(zhí)行事先設(shè)計(jì)的抓取策略，所以良好的網(wǎng)站結(jié)構(gòu)具備引導(dǎo)、分配權(quán)重、提高抓取效率等作用，只有內(nèi)部框架搭建好之后，內(nèi)容的布局才能井然有序，蜘蛛才能有序爬行。

網(wǎng)站結(jié)構(gòu)

事先應(yīng)該考慮到的問(wèn)題：

蜘蛛是否實(shí)現(xiàn)邏輯上的全站抓取

蜘蛛是否可以區(qū)分頁(yè)面重要性

蜘蛛是否可以提取頁(yè)面的關(guān)鍵詞

一、邏輯上全站爬行

網(wǎng)站結(jié)構(gòu)優(yōu)化

網(wǎng)站物理結(jié)構(gòu)，即基于內(nèi)容聚合的目錄及文件位置決定的結(jié)構(gòu)。目前的主流思維就是網(wǎng)站扁平化設(shè)計(jì)，即平行結(jié)構(gòu)。　

鏈接結(jié)構(gòu)優(yōu)化

兩種蜘蛛抓取不到的頁(yè)面：網(wǎng)站本身不希望被收錄的頁(yè)面;沒(méi)有鏈接到達(dá)的頁(yè)面，即孤島頁(yè)面。對(duì)于沒(méi)有被首頁(yè)推薦的頁(yè)面，可以再內(nèi)鏈上補(bǔ)充。合理的內(nèi)鏈就是一個(gè)四通八達(dá)、井然有序的交通系統(tǒng)，蜘蛛就是來(lái)往的車輛。社會(huì)化、描文本、設(shè)置鏈接入口等。

Domain結(jié)構(gòu)優(yōu)化

主要是二級(jí)域名和二級(jí)目錄的選擇策略。沒(méi)有絕對(duì)的好與不好，就科易網(wǎng)小編來(lái)說(shuō)目前公司網(wǎng)站正在有二級(jí)域名網(wǎng)站結(jié)構(gòu)向二級(jí)目錄轉(zhuǎn)變，只是采取適應(yīng)當(dāng)前科易網(wǎng)發(fā)展的核心：塑造公司品牌。所以根據(jù)自身特點(diǎn)選擇合理的domain策略。

二、重要性的主導(dǎo)

對(duì)于搜索引擎來(lái)說(shuō)，什么樣頁(yè)面會(huì)被認(rèn)為“更重要”?有這么一句話：每個(gè)鏈接都是一個(gè)投票，意思是：頁(yè)面的所有鏈接都是投票。在搜索引擎看來(lái)：獲得更多內(nèi)部投票的網(wǎng)頁(yè)相對(duì)來(lái)說(shuō)更加重要。

三、網(wǎng)頁(yè)的標(biāo)簽：關(guān)鍵詞

搜索引擎在分析頁(yè)面的內(nèi)容是優(yōu)先從TDK入手，即title、description、keyword;之后就是H標(biāo)簽、alt標(biāo)簽;最后是TF-IDF ，即詞頻-文件頻率。從三個(gè)的關(guān)聯(lián)度定義頁(yè)面的“標(biāo)簽”，即抓取的時(shí)頁(yè)面的定義的關(guān)鍵詞。