?第一、蜘蛛陷阱是什么？“蜘蛛陷阱”是阻止蜘蛛程序爬行網(wǎng)站的障礙物，通常是那些顯示網(wǎng)頁的技術(shù)方法，很多瀏覽器在設(shè)計的時候考慮過這些因素，所以可能網(wǎng)頁界面看起來非常正常，但這些蜘蛛陷阱會對蜘蛛程序造成障礙，如果消除這些蜘蛛陷阱，可以使蜘蛛程序收錄更多的網(wǎng)頁

SEO工作中，網(wǎng)頁被收錄是基礎(chǔ)工作，但對于搜索引擎來講，極少情況會100%收錄你網(wǎng)站的所有網(wǎng)頁，搜索引擎的爬蟲程序設(shè)計的再精巧，也難以逾越所謂的蜘蛛陷阱

第二、蜘蛛陷阱主要類別1、登錄要求有些企業(yè)站和個人站的設(shè)置一定要注冊登錄后才能看到相關(guān)的文章內(nèi)容，這種對蜘蛛不是很友好，蜘蛛不會注冊、也不會登錄

2、動態(tài)URL什么叫動態(tài)URL、什么叫靜態(tài)URL，簡單的說就是帶有問號、等號及參數(shù)的網(wǎng)址就是動態(tài)URL，動態(tài)URL不利于搜索引擎蜘蛛的爬行和抓取

3、強制用Cookies部分站長為了讓用戶記住登陸信息，強迫用戶使用Cookies如果未開啟，則無法進行訪問，訪問頁面顯示的也不會正常，這種方式會讓蜘蛛無法進行訪問

4、框架結(jié)構(gòu)首先各位站長你知道什么叫框架結(jié)構(gòu)的世界嗎？如果你不知道恭喜你，這個蜘蛛陷阱你已經(jīng)躲避了，也不要去了解，所以有關(guān)框架結(jié)構(gòu)的設(shè)計不做任何的介紹

5、各種跳轉(zhuǎn)對搜素引擎來說只對301跳轉(zhuǎn)相對來說比較友好，對其他形式的跳轉(zhuǎn)都是比較敏感，例如

JavaScrit跳轉(zhuǎn)、MetaRefresh跳轉(zhuǎn)、Flash跳轉(zhuǎn)、302跳轉(zhuǎn)

有些網(wǎng)站的做法很讓人無奈，當你打開網(wǎng)頁后會自動轉(zhuǎn)向其他頁面，就算打開的頁面和你要找的頁面主體相關(guān)也算過得去

但是很大部分的網(wǎng)站轉(zhuǎn)向讓你無任何理由和目的這種轉(zhuǎn)向不推薦大家使用，如果你非要做轉(zhuǎn)向，只推薦用301永久跳轉(zhuǎn)，可以將權(quán)重進行傳遞，除了此轉(zhuǎn)向其他都不推薦，因為很多的占用其他轉(zhuǎn)向欺騙用戶和搜索引擎，也是heimao的一種手段，所以建議大家不要使用，以免網(wǎng)站被K

6、Flash有的網(wǎng)站頁面使用Flash視覺效果是很正常的，比如用Flash做的Logo、廣告、圖表等，這些對搜索引擎抓取和收錄是沒有問題的，很多網(wǎng)站的首頁是一個大的Flash文件，這種就叫蜘蛛陷阱，在蜘蛛抓取時HTML代碼中只是一個鏈接，并沒有文字，雖然大的Flash效果看上去很好，外觀看著也很漂亮，但可惜搜索引擎看不到，無法讀取任何內(nèi)容所以為了能體現(xiàn)網(wǎng)站優(yōu)化的最好效果，不提倡這種Flash做首頁圖片

第三、網(wǎng)站seo優(yōu)化過程中避免方式1

采用session id的頁面，有的銷售類站點為了分析用戶的某些信息會采用會話ID來跟蹤用戶，訪問站點的時候每個用戶訪問都會增加一次session id而加入到URL中，同樣蜘蛛的每一次訪問也會被當做為一個新用戶,每次蜘蛛來訪問的URL中都會加入一個session id，這樣就會產(chǎn)生了同一個頁面但URL不同的情況，這種的一來會產(chǎn)生復(fù)制內(nèi)容頁面，造成了高度重復(fù)的內(nèi)容頁，同時也是最常見的蜘蛛陷阱之一

比如說有的網(wǎng)站的為了提高銷售業(yè)績，而進行彈窗會話等，比如說您好來自XXX地的朋友等

2

常識性的蜘蛛陷阱，采用強制注冊或登錄才能訪問的頁面，這種的對于蜘蛛來說就相當為難了，因為蜘蛛無法提交注冊，更無法輸入用戶名和密碼登錄查看內(nèi)容，對于蜘蛛來說我們直接點擊查看到的內(nèi)容也是蜘蛛所能看到的內(nèi)容

3

喜歡采用flash的站點，之所以說是喜歡采用flash的站點是因為對于一些中小型企業(yè)來說，因為flash本身可以做很多種效果，尤其是放在導航上視覺效果強，所以不少企業(yè)站喜歡弄個flash來展示自己公司的實力，文化，產(chǎn)品等，甚至一些企業(yè)站點的網(wǎng)站首頁就是一個flash，要么是在多長時間后通過flash跳轉(zhuǎn)到另外一個頁面，要么就是通過flash上的鏈接讓用戶自己點擊后進入一個新的頁面，但是對于蜘蛛來說一來是很難讀取flash中的內(nèi)容，所以蜘蛛也很難點擊flash上的鏈接

4

動態(tài)URL，在url中加入過多的符號或者網(wǎng)址參數(shù)等，這種蜘蛛陷阱我在url優(yōu)化中曾經(jīng)有提到，雖然說隨著搜索引擎的的技術(shù)發(fā)展，動態(tài)url對于蜘蛛的抓取已經(jīng)越來越不是問題了，但是從搜索引擎友好度上來講，靜態(tài)哪怕是偽靜態(tài)url相對來說都比動態(tài)url要好，可以看下很多SEO同行對于url中的處理方式

5

框架，在早期框架到處被泛濫使用，而框架網(wǎng)頁很多網(wǎng)站已經(jīng)很少使用了，一是因為隨著各大cms系統(tǒng)的開發(fā)問世，網(wǎng)站維護相對也越來越簡單了，早期網(wǎng)站使用框架是因為對網(wǎng)站頁面的維護有一定的便利性了，已經(jīng)大可不必了，而且不利于搜索引擎收錄也是框架越來越少被使用的原因之一

6

JS，雖然搜索引擎對于JavaScript里的鏈接是可以跟蹤甚至在嘗試拆解分析的，但是我們最好不要寄望于搜索引擎自己克服困難，雖然說通過js可以做一些效果不錯的導航，但是css同樣可以做到；為了提高網(wǎng)站對搜索引擎的友好度建議使網(wǎng)頁能夠更好的蜘蛛爬行，就盡量不要采用js，當然在seo中，js有一個好處就是站長不希望被收錄的頁面或者友情鏈接可以采用js

還有一種方法可以消除JavaScript 蜘蛛程序陷阱，即使用

蜘蛛程序不會執(zhí)行JavaScript, 因此他們通過處理

7

深層次的網(wǎng)頁，有的網(wǎng)頁沒有入口，而且距離網(wǎng)站的首頁又很遠，這種頁面就相對較難被蜘蛛爬行到，當然對于那些權(quán)重高的網(wǎng)站可能會另當別論了

網(wǎng)站的頁面要被收錄，首先要需要基本的權(quán)重，首頁的權(quán)重一般是最高的，然后首頁的權(quán)重是可以傳遞到內(nèi)頁的，當內(nèi)部頁面的權(quán)重上升到可以被收錄的門檻，頁面就會被收錄，按照這種理論，頁面之間的權(quán)重傳遞是會遞減的，因此，內(nèi)頁和首頁的點擊距離越近，越容易得到更多的首頁權(quán)重傳遞

良好的網(wǎng)站結(jié)構(gòu)可以讓網(wǎng)站更多的頁面被收錄

8

強制使用cookies，對于搜索引擎來說是相當于直接禁用了cookies的，而有些網(wǎng)站為了實現(xiàn)某些功能會采取強制cookies，比如說跟蹤用戶訪問路徑，記住用戶信息，甚至是盜取用戶隱私等，如果用戶在訪問這類站點時沒有啟用cookies，所顯示的頁面就會不正常，所以對于蜘蛛來講同樣的網(wǎng)頁無法正常訪問

9

各種形式的跳轉(zhuǎn)，對于301重定向相信很多seo童鞋已經(jīng)非常熟悉了，但是對于其他302，或者meta refresh，javascript，flash等跳轉(zhuǎn)，蜘蛛是很反感的，而且301也是不到萬不得已的時候采用，任何跳轉(zhuǎn)都會在一定程度上給蜘蛛的爬行帶來障礙，所以你懂得

10

robots.txt書寫錯誤和各種各樣的作弊手法，比如說隱藏文字，隱藏鏈接等，采用偽裝網(wǎng)頁在判斷來訪者是蜘蛛還是普通瀏覽器者而顯示不同的網(wǎng)頁，使用默認錯誤的404頁面等，同樣會給蜘蛛帶來爬行障礙

11

要求登錄：有些網(wǎng)站內(nèi)容放在需要用戶登錄之后才能看到的會員區(qū)域，這部分內(nèi)容搜索引擎無法看到

蜘蛛不能填寫用戶名、密碼，也不會注冊