主流的搜索引擎都聲稱自己的spider對網站的抓取行為和普通用戶的訪問行為沒有太大的區別。

　　站在用戶的立場來理解這句話是沒有問題的，但是站在站長和SEO的角度這句話就不太正確了。

　　在網頁上其實有很多東西普通用戶是看不到的也分不清楚的，但是spider卻是可以看到的，網頁上也有很多東西普通用戶可以看到，但是spider卻是視而不見的。

　　如何看待網頁，spider和普通用戶是有一些區別的，具體表現在以下方面：

　　1、 網頁中的隱藏內容，是否被掛了黑鏈等這些spider是無法分辨得出來的。網站中的圖片文件也是spider無法分辨的，更不能讀取JS，Iframe，Ajax和Flash中的內容，普通用戶卻是相關的，這些普通用戶都是可以看到的。

　　2、 Spider沒有Referer，對網站的抓取全部都是直接訪問的，而普通用戶出來直接訪問的用戶外一般都是由Referer的。

　　3、 Spider對網站的訪問是不存在Cookie的，但是普通用戶訪問網站是會產生cookie記錄的。

　　4、 Spider不會主動注冊登入網站，但是普通的用戶卻是可以的，原則上spider不會抓取和分析網站robots中限制的內容，但是普通的用戶是可以正常訪問的。

　　5、 Spider對于有動態的參數URL可以能會陷入死循環，但是普通的用戶是不會的。

　　6、 Spider對列表中前幾頁的新內容可能抓取不好，但是普通用戶對感興趣的內容是可以瀏覽的

　　7、 Spider只是機械的判斷文章的原偽度，但是普通用戶可以通過多角度來對一篇文章進行判斷甄別。　　了解了spider和普通用戶的區別，我們在日常的優化過程中，在不影響用戶體驗，不使用作弊手法的情況下，迎合搜索引擎spider的習慣，最大可能的提高網站在搜索引擎中的表現。而誤導spider，鉆spider空子的做法雖可能短期從搜索引擎中獲得搜索流量但不會長久，還是不可取得。以用戶為中心，最大可能的滿足用戶的需求才是正道。