?sogou spider User-Agent字段是什么?PC端UA為Sogou web spiderSogou inst spiderSogou spider無線端UA為Sogou wap spider請(qǐng)注意,根據(jù)標(biāo)準(zhǔn),ua區(qū)分大小寫
搜狗Spider的IP有哪些?搜狗暫不對(duì)外提供搜狗spider IP列表,但您可以通過DNS反查IP的方式判斷某只spider是否來自搜狗搜索引擎
根據(jù)不同平臺(tái)有不同的驗(yàn)證方法
linux平臺(tái)
命令為host ip,如下圖
搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均為冒充
在windows平臺(tái)或者IBM OS/2平臺(tái)
命令為nslookup ip,搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均為冒充
mac os平臺(tái)
命令為dig ip,搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均為冒充
sogou spider 如何反應(yīng)我網(wǎng)站上頁面的更新?sogou spider 會(huì)根據(jù)網(wǎng)頁的重要性和歷史變化情況來動(dòng)態(tài)調(diào)整更新時(shí)間,更新已經(jīng)抓取過的頁面
搜狗spider的抓取頻次是怎樣的?sogou spider 對(duì)于同一個(gè) IP 地址的服務(wù)器主機(jī),只建立一個(gè)連接,抓取間隔速度控制在幾秒一次
一個(gè)網(wǎng)頁被收錄后,最快也要過幾天以后才會(huì)去更新
如果持續(xù)不斷地抓取您的網(wǎng)站,請(qǐng)注意您的網(wǎng)站上的網(wǎng)頁是否每次訪問都產(chǎn)生新的鏈接
如果您認(rèn)為 sogou spider 對(duì)于您的網(wǎng)站抓取過快,請(qǐng)與我們聯(lián)系,并最好能提供訪問日志中sogou spider 訪問的部分,而不要直接將搜狗spider的ua封禁
sogou spider 喜歡收錄什么樣的頁面內(nèi)容優(yōu)良而獨(dú)特的頁面
如果您的頁面內(nèi)容和互聯(lián)網(wǎng)上已存在的其他頁面有高度的相似性,可能不會(huì)被 sogou spider 收錄
鏈接層次較淺的頁面
過深的鏈接層次,尤其是動(dòng)態(tài)網(wǎng)頁的鏈接,會(huì)被丟棄而不收錄
如果是動(dòng)態(tài)網(wǎng)頁,請(qǐng)控制參數(shù)的數(shù)量和URL的長度
搜狗更偏好收錄靜態(tài)網(wǎng)頁
重定向次數(shù)越多的頁面,越有可能被 sogou spider 丟棄
來源
搜狗資源平臺(tái)
請(qǐng)立即點(diǎn)擊咨詢我們或撥打咨詢熱線: 18942620423,我們會(huì)詳細(xì)為你一一解答你心中的疑難。項(xiàng)目經(jīng)理在線