?盡管搜索引擎在不斷的升級(jí)算法，但是終究其還是程序，因此我們?cè)诓季志W(wǎng)站結(jié)構(gòu)的時(shí)候要盡可能的讓搜索引擎蜘蛛能看的懂

每個(gè)搜索引擎蜘蛛都有自己的名字，在抓取網(wǎng)頁(yè)的時(shí)候，都會(huì)向網(wǎng)站標(biāo)明自己的身份

搜索引擎蜘蛛在抓取網(wǎng)頁(yè)的時(shí)候會(huì)發(fā)送一個(gè)請(qǐng)求，這個(gè)請(qǐng)求中就有一個(gè)字段為User－agent，用于標(biāo)識(shí)此搜索引擎蜘蛛的身份

例如Google搜索引擎蜘蛛的標(biāo)識(shí)為GoogleBot，百度搜索引擎蜘蛛的標(biāo)識(shí)為Baidu spider，Yahoo搜索引擎蜘蛛的標(biāo)識(shí)為Inktomi Slurp

如果在網(wǎng)站上有訪問(wèn)日志記錄，網(wǎng)站管理員就能知道，哪些搜索引擎的搜索引擎蜘蛛過(guò)來(lái)過(guò)，什么時(shí)候過(guò)來(lái)的，以及讀了多少數(shù)據(jù)等等

如果網(wǎng)站管理員發(fā)現(xiàn)某個(gè)蜘蛛有問(wèn)題，就通過(guò)其標(biāo)識(shí)來(lái)和其所有者聯(lián)系

搜索引擎蜘蛛進(jìn)入一個(gè)網(wǎng)站，一般會(huì)訪問(wèn)一個(gè)特殊的文本文件Robots.txt，這個(gè)文件一般放在網(wǎng)站服務(wù)器的根目錄下，網(wǎng)站管理員可以通過(guò)robots.txt來(lái)定義哪些目錄搜索引擎蜘蛛不能訪問(wèn)，或者哪些目錄對(duì)于某些特定的搜索引擎蜘蛛不能訪問(wèn)

例如有些網(wǎng)站的可執(zhí)行文件目錄和臨時(shí)文件目錄不希望被搜索引擎搜索到，那么網(wǎng)站管理員就可以把這些目錄定義為拒絕訪問(wèn)目錄

Robots.txt語(yǔ)法很簡(jiǎn)單，例如如果對(duì)目錄沒(méi)有任何限制，可以用以下兩行來(lái)描述

User-agent

*Disallow:當(dāng)然，Robots.txt只是一個(gè)協(xié)議，如果搜索引擎蜘蛛的設(shè)計(jì)者不遵循這個(gè)協(xié)議，網(wǎng)站管理員也無(wú)法阻止搜索引擎蜘蛛對(duì)于某些頁(yè)面的訪問(wèn)，但一般的搜索引擎蜘蛛都會(huì)遵循這些協(xié)議，而且網(wǎng)站管理員還可以通過(guò)其它方式來(lái)拒絕搜索引擎蜘蛛對(duì)某些網(wǎng)頁(yè)的抓? ?搜索引擎蜘蛛在下載網(wǎng)頁(yè)的時(shí)候，會(huì)去識(shí)別網(wǎng)頁(yè)的HTML代碼，在其代碼的部分，會(huì)有META標(biāo)識(shí)

通過(guò)這些標(biāo)識(shí)，可以告訴搜索引擎蜘蛛本網(wǎng)頁(yè)是否需要被抓取，還可以告訴搜索引擎蜘蛛本網(wǎng)頁(yè)中的鏈接是否需要被繼續(xù)跟蹤

例如

表示本網(wǎng)頁(yè)不需要被抓取，但是網(wǎng)頁(yè)內(nèi)的鏈接需要被跟蹤

現(xiàn)在一般的網(wǎng)站都希望搜索引擎能更全面的抓取自己網(wǎng)站的網(wǎng)頁(yè)，因?yàn)檫@樣可以讓更多的訪問(wèn)者能通過(guò)搜索引擎找到此網(wǎng)站

為了讓本網(wǎng)站的網(wǎng)頁(yè)更全面被抓取到，網(wǎng)站管理員可以建立一個(gè)網(wǎng)站地圖，即Site Map

許多搜索引擎蜘蛛會(huì)把sitemap.htm文件作為一個(gè)網(wǎng)站網(wǎng)頁(yè)爬取的入口，網(wǎng)站管理員可以把網(wǎng)站內(nèi)部所有網(wǎng)頁(yè)的鏈接放在這個(gè)文件里面，那么搜索引擎蜘蛛可以很方便的把整個(gè)網(wǎng)站抓取下來(lái)，避免遺漏某些網(wǎng)頁(yè)，也會(huì)減小對(duì)網(wǎng)站服務(wù)器的負(fù)擔(dān)

（Google專(zhuān)門(mén)為網(wǎng)站管理員提供了XML的Sitemap）搜索引擎建立網(wǎng)頁(yè)索引，處理的對(duì)象是文本文件

對(duì)于搜索引擎蜘蛛來(lái)說(shuō)，抓取下來(lái)網(wǎng)頁(yè)包括各種格式，包括html、圖片、doc、pdf、多媒體、動(dòng)態(tài)網(wǎng)頁(yè)及其它格式等

這些文件抓取下來(lái)后，需要把這些文件中的文本信息提取出來(lái)

準(zhǔn)確提取這些文檔的信息，一方面對(duì)搜索引擎的搜索準(zhǔn)確性有重要作用，另一方面對(duì)于搜索引擎蜘蛛正確跟蹤其它鏈接有一定影響

對(duì)于doc、pdf等文檔，這種由專(zhuān)業(yè)廠商提供的軟件生成的文檔，廠商都會(huì)提供相應(yīng)的文本提取接口

搜索引擎蜘蛛只需要調(diào)用這些插件的接口，就可以輕松的提取文檔中的文本信息和文件其它相關(guān)的信息

HTML等文檔不一樣，HTML有一套自己的語(yǔ)法，通過(guò)不同的命令標(biāo)識(shí)符來(lái)表示不同的字體、顏色、位置等版式，如

、、等，提取文本信息時(shí)需要把這些標(biāo)識(shí)符都過(guò)濾掉

過(guò)濾標(biāo)識(shí)符并非難事，因?yàn)檫@些標(biāo)識(shí)符都有一定的規(guī)則，只要按照不同的標(biāo)識(shí)符取得相應(yīng)的信息即可

但在識(shí)別這些信息的時(shí)候，需要同步記錄許多版式信息

除了標(biāo)題和正文以外，會(huì)有許多廣告鏈接以及公共的頻道鏈接，這些鏈接和文本正文一點(diǎn)關(guān)系也沒(méi)有，在提取網(wǎng)頁(yè)內(nèi)容的時(shí)候，也需要過(guò)濾這些無(wú)用的鏈接

例如某個(gè)網(wǎng)站有“產(chǎn)品介紹”頻道，因?yàn)閷?dǎo)航條在網(wǎng)站內(nèi)每個(gè)網(wǎng)頁(yè)都有，若不過(guò)濾導(dǎo)航條鏈接，在搜索“產(chǎn)品介紹”的時(shí)候，則網(wǎng)站內(nèi)每個(gè)網(wǎng)頁(yè)都會(huì)搜索到，無(wú)疑會(huì)帶來(lái)大量垃圾信息

過(guò)濾這些無(wú)效鏈接需要統(tǒng)計(jì)大量的網(wǎng)頁(yè)結(jié)構(gòu)規(guī)律，抽取一些共性，統(tǒng)一過(guò)濾；對(duì)于一些重要而結(jié)果特殊的網(wǎng)站，還需要個(gè)別處理

這就需要搜索引擎蜘蛛的設(shè)計(jì)有一定的擴(kuò)展性