?robots是什么robots是網站跟蜘蛛間的協議，當訪問站點時，它首先檢查機器人是否存在于站點的根目錄中

如果找到，蜘蛛就會按照該文件中的內容來確定訪問的范圍,如果該文件不存在,那么搜索機器人就沿著鏈接抓取

一定要注意txt文件必須放在站點的根目錄中，文件名必須為小寫

robots.txt是一個純文本文件，在這個文件中網站管理者可以聲明該網站中不想被搜索引擎訪問的部分，或者指定搜索引擎只收錄指定的內容

因此，機器人的優化將直接影響到搜索引擎對站點的收錄

只有在需要禁止抓取某些內容時，才寫robots

一些服務器設置是問題

當機器人文件不存在時，它返回200個狀態代碼和一些錯誤消息，而不是404頁面，這是因為搜索機器人誤讀了robots文件信息

robots mate是什么robots meta標簽主要是針對一個個具體的頁面

和其他的META標簽(如使用的語言、頁面的描述、關鍵詞等)一樣， robots meta標簽也是放在頁面的head>中，專門用來告訴搜索引擎機器人如何抓取該頁的內容

follow指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去；robots meta標簽的缺省值是index和follow；index指令告訴搜索機器人抓取該頁面；robots meta標簽中沒有大小寫之分，name=“robots”表示所有的搜索引擎，可以針對某個具體搜索引擎寫為name=“ baiduspider' content部分有四個指令選項index、noindex、follow、nofollow，指令間以“，”分隔

Robots和robots mate的區別目前來說，所有的搜索引擎都支持和遵守robots.txt的規定，但是支持robots mate的卻比較少，大家可以酌情使用

來源

搜外網