今天給大家說(shuō)下蜘蛛陷阱，也是我交的作業(yè)中的部分內(nèi)容。中招的童鞋自己注意整改，具體整改措施，這里就不多說(shuō)了，因?yàn)樽鳂I(yè)還沒(méi)被改完，避免泄露答案。

　　蜘蛛陷阱的“前因后果”

　　一、蜘蛛陷阱的含義

　　陷阱原意是狩獵用的坑穴等處所，對(duì)人則是比喻使人受騙上當(dāng)?shù)娜μ祝敲磳?duì)蜘蛛則是兩層含義：

　　A、 蜘蛛在爬行網(wǎng)站時(shí)，遭遇到一些讓蜘蛛程序無(wú)法正常收錄頁(yè)面或繼續(xù)爬行網(wǎng)站的障礙，通常是非故意為之的；

　　B、 使用一些技術(shù)手段，讓蜘蛛無(wú)法按正常網(wǎng)址目錄爬行抓取原目的網(wǎng)站相關(guān)頁(yè)面，而將蜘蛛引入到預(yù)設(shè)好的頁(yè)面或網(wǎng)站，達(dá)到干擾蜘蛛判斷網(wǎng)頁(yè)內(nèi)容主題等網(wǎng)頁(yè)搜索質(zhì)量體系中的相關(guān)指標(biāo)值，通常是黑客等獲益人故意為之的。

　　二、蜘蛛陷阱的產(chǎn)生、危害及預(yù)防

　　（一） 蜘蛛程序爬行網(wǎng)站時(shí)遇到障礙的幾個(gè)問(wèn)題

　　1、避免蜘蛛被排除在可訪問(wèn)資源的人群之外

　　產(chǎn)生原因：只給特定人群訪問(wèn)權(quán)限，如只讓已登陸或輸入了正確密碼的人能訪問(wèn)到，或要求用戶有cookies才顯示內(nèi)容。被排除在可訪問(wèn)人群之外的蜘蛛程序就無(wú)法獲取到資源內(nèi)容。

　　2、避免讓蜘蛛獲得的url不正確或不規(guī)范

　　產(chǎn)生原因：在設(shè)置url的時(shí)候不規(guī)范或內(nèi)外推廣的url不正確，會(huì)讓蜘蛛獲得不正確或不規(guī)范的url。比如帶有等號(hào)與問(wèn)號(hào)的動(dòng)態(tài)url，通常url中包含多參數(shù)，易造成多個(gè)url對(duì)應(yīng)的頁(yè)面內(nèi)容相同，特別當(dāng)統(tǒng)計(jì)用戶信息、彈窗回話或分析流量時(shí)，會(huì)在用戶訪問(wèn)url時(shí)再增ID參數(shù)后返回頁(yè)面內(nèi)容；推廣了缺失字符等不正確的url；同一頁(yè)面內(nèi)容動(dòng)靜態(tài)URL均可訪問(wèn)。

　　3、避免讓蜘蛛被重定向弄的暈頭轉(zhuǎn)腦

　　產(chǎn)生原因：通常是資源被遷移，導(dǎo)致資源地址有變，但在相關(guān)網(wǎng)頁(yè)中沒(méi)修改成資源新地址，導(dǎo)致網(wǎng)頁(yè)中出現(xiàn)舊資源地址，一些網(wǎng)站就會(huì)使用重定向技術(shù)，將舊地址重定向到新地址。

　　4、避免出現(xiàn)目前蜘蛛不善于處理的資源形式

　　產(chǎn)生原因：一些網(wǎng)站出于視覺(jué)效果等考慮，將重要資源展示在頁(yè)面內(nèi)的框架結(jié)構(gòu)、FLASH、JS特效區(qū)、圖片、音頻、視頻中。

　　5、避免讓蜘蛛遍歷層次過(guò)深

　　產(chǎn)生原因：內(nèi)容分類過(guò)多或過(guò)細(xì)，可能會(huì)分到4級(jí)以上，有幾百甚至上千欄目，而一個(gè)頁(yè)面的鏈接放置數(shù)是有限的，一些分類或欄目的鏈接不得不從首頁(yè)點(diǎn)5次以上才到達(dá)。另外還有一些信息藏得較深，蜘蛛要從首頁(yè)遍歷較多層次后才能獲得。

　　6、避免錯(cuò)誤配置文件妨礙蜘蛛爬行

　　產(chǎn)生原因：網(wǎng)站配置UA訪問(wèn)權(quán)限，可能會(huì)配置不當(dāng)而禁止了蜘蛛的正常爬行；網(wǎng)站配置IP訪問(wèn)權(quán)限，而誤禁了部分蜘蛛IP；網(wǎng)站配置防刷新機(jī)制，而妨礙了蜘蛛爬行；網(wǎng)站配置robots等相關(guān)文件，而誤禁止了蜘蛛對(duì)某些目錄或文件的正常爬行。

　　（二） 蜘蛛抓取爬行時(shí)被有意干擾的幾個(gè)問(wèn)題

　　1、頁(yè)面中被JS等形式放入一些黑鏈

　　產(chǎn)生原因：疏于查看導(dǎo)出鏈接或技術(shù)缺失，僅憑肉眼或站長(zhǎng)工具查看導(dǎo)出鏈。黑客等獲益人就以js等形式將一些鏈接放置到網(wǎng)頁(yè)中。

　　2、頁(yè)面被meta reresh，js等跳轉(zhuǎn)到其他站點(diǎn)或頁(yè)面

　　產(chǎn)生原因：網(wǎng)站基本不管理或一些頁(yè)面基本不維護(hù)，黑客等獲益人就會(huì)明目張膽的寫(xiě)入跳轉(zhuǎn)源碼，讓訪問(wèn)這些頁(yè)面的用戶跳轉(zhuǎn)到其他站點(diǎn)或頁(yè)面。

　　3、頁(yè)面被js等蜘蛛較難識(shí)別的形式嵌入一些內(nèi)容

　　產(chǎn)生原因：一些網(wǎng)站疏于查看自己頁(yè)面的訪問(wèn)體驗(yàn)或缺少與訪客的溝通。于是黑客等獲益人就以蜘蛛較難識(shí)別的形式嵌入一些廣告內(nèi)容到網(wǎng)頁(yè)中，處理的較好，網(wǎng)站安全工具也檢測(cè)不出來(lái)，另外安全聯(lián)盟廠家相關(guān)產(chǎn)品也無(wú)警告。

　　4、網(wǎng)站被加入一些不相干的文件夾內(nèi)容

　　產(chǎn)生原因：一些網(wǎng)站管理者關(guān)注的是前臺(tái)頁(yè)面以及后臺(tái)功能，沒(méi)有關(guān)注到網(wǎng)站在搜索引擎的收錄頁(yè)面及關(guān)鍵詞排名情況。于是黑客等獲益人就在網(wǎng)站中加入一些不相干的文件夾內(nèi)容，再通過(guò)站群等手段，將這些不相干內(nèi)容的大力推廣，于是這些url就被收錄并且排名十分好。

　　5、在不同的UA下顯示不同的內(nèi)容

　　產(chǎn)生原因：通過(guò)識(shí)別訪客的user-agent，讓蜘蛛看到的是一個(gè)正常頁(yè)面的內(nèi)容，而讓普通用戶點(diǎn)擊進(jìn)入網(wǎng)站后看到的是另一個(gè)頁(yè)面。主要因?yàn)橐恍┚W(wǎng)站管理者關(guān)注的是前臺(tái)頁(yè)面以及后臺(tái)功能，沒(méi)有關(guān)注到網(wǎng)站在搜索引擎的收錄頁(yè)面及關(guān)鍵詞排名情況，于是黑客等獲益人就喜歡在宿主網(wǎng)站上上傳自己設(shè)計(jì)好的專門(mén)給搜索引擎看的內(nèi)容，將它們的url進(jìn)行站群式等推廣，于是就被收錄并且排名十分好。普通用戶被跳轉(zhuǎn)引導(dǎo)到目標(biāo)網(wǎng)站，專門(mén)針對(duì)蜘蛛做的內(nèi)容可引導(dǎo)蜘蛛到目標(biāo)網(wǎng)站。這樣普通用戶和蜘蛛就都被劫持到目標(biāo)網(wǎng)站上了。