如何正確識(shí)別Baiduspider移動(dòng)ua

來(lái)源：超達(dá)科技 發(fā)布時(shí)間：2017-12-25瀏覽：3983次

如何正確識(shí)別Baiduspider移動(dòng)ua

新版移動(dòng)ua:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
PC ua:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）

之前通過(guò)“+http://www.baidu.com/search/spider.html”進(jìn)行識(shí)別的網(wǎng)站請(qǐng)注意！您需要修改識(shí)別方式，新的正確的識(shí)別Baiduspider移動(dòng)ua的方法如下：
　　1. 通過(guò)關(guān)鍵詞“Android”或者“Mobile”來(lái)進(jìn)行識(shí)別，判斷為移動(dòng)訪問(wèn)或者抓取。
　　2. 通過(guò)關(guān)鍵詞“Baiduspider/2.0”,判斷為百度爬蟲(chóng)。

另外需要強(qiáng)調(diào)的是，對(duì)于robots封禁，如果封禁的agent是Baiduspider，會(huì)對(duì)PC和移動(dòng)同時(shí)生效。即，無(wú)論是PC還是移動(dòng)Baiduspider，都不會(huì)對(duì)封禁對(duì)象進(jìn)行抓取。之所以要強(qiáng)調(diào)這一點(diǎn)，是發(fā)現(xiàn)有些代碼適配站點(diǎn)（同一個(gè)url，PC ua打開(kāi)的時(shí)候是PC頁(yè)，移動(dòng)ua打開(kāi)的時(shí)候是移動(dòng)頁(yè)），想通過(guò)設(shè)置robots的agent封禁達(dá)到只讓移動(dòng)Baiduspider抓取的目的，但由于PC和移動(dòng)Baiduspider的agent都是Baiduspider,這種方法是非常不可取的。

如何識(shí)別百度蜘蛛

百度蜘蛛對(duì)于站長(zhǎng)來(lái)說(shuō)可謂上賓，可是我們?cè)?jīng)遇到站長(zhǎng)這樣提問(wèn)：我們?nèi)绾闻袛喁偪褡ノ覀兙W(wǎng)站內(nèi)容的蜘蛛是不是百度的？其實(shí)站長(zhǎng)可以通過(guò)DNS反查IP的方式判斷某只spider是否來(lái)自百度搜索引擎。根據(jù)平臺(tái)不同驗(yàn)證方法不同，如linux/windows/os三種平臺(tái)下的驗(yàn)證方法分別如下：

1、在linux平臺(tái)下，您可以使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

2、在windows平臺(tái)或者IBM OS/2平臺(tái)下，您可以使用nslookup ip命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

3、 在mac os平臺(tái)下，您可以使用dig 命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

Baiduspider IP是多少

即便很多站長(zhǎng)知道了如何判斷百度蜘蛛，仍然會(huì)不斷地問(wèn)“百度蜘蛛IP是多少”。我們理解站長(zhǎng)的意思，是想將百度蜘蛛所在IP加入白名單，只準(zhǔn)白名單下IP對(duì)網(wǎng)站進(jìn)行抓取，避免被采集等行為。

但我們不建議站長(zhǎng)這樣做。雖然百度蜘蛛的確有一個(gè)IP池，真實(shí)IP在這個(gè)IP池內(nèi)切換，但是我們無(wú)法保證這個(gè)IP池整體不會(huì)發(fā)生變化。所以，我們建議站長(zhǎng)勤看日志，發(fā)現(xiàn)惡意蜘蛛后放入黑名單，以保證百度的正常抓取。

同時(shí)，我們?cè)俅螐?qiáng)調(diào)，通過(guò)IP來(lái)分辨百度蜘蛛的屬性是非常可笑的事情，所謂的“沙盒蜘蛛”“降權(quán)蜘蛛”等等是從來(lái)都不存在的。

robots寫(xiě)法

robots是站點(diǎn)與spider溝通的重要渠道，站點(diǎn)通過(guò)robots文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請(qǐng)注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請(qǐng)勿建立robots.txt文件。

 robots文件往往放置于根目錄下，包含一條或更多的記錄，這些記錄通過(guò)空行分開(kāi)（以CR,CR/NL, or NL作為結(jié)束符），每一條記錄的格式如下所示：
        "<field>:<optional space><value><optionalspace>"

 在該文件中可以使用#進(jìn)行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開(kāi)始，后面加上若干Disallow和Allow行,詳細(xì)情況如下：
        User-agent:該項(xiàng)的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多條User-agent記錄說(shuō)明有多個(gè)robot會(huì)受到"robots.txt"的限制，對(duì)該文件來(lái)說(shuō)，至少要有一條User-agent記錄。如果該項(xiàng)的值設(shè)為*，則對(duì)任何robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

        Disallow:該項(xiàng)的值用于描述不希望被訪問(wèn)的一組URL，這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項(xiàng)的值開(kāi)頭的URL不會(huì)被 robot訪問(wèn)。例如"Disallow:/help"禁止robot訪問(wèn)/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"則允許robot訪問(wèn)/help.html、/helpabc.html，不能訪問(wèn)/help/index.html。"Disallow:"說(shuō)明允許robot訪問(wèn)該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開(kāi)放的。

        Allow:該項(xiàng)的值用于描述希望被訪問(wèn)的一組URL，與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開(kāi)頭的URL 是允許robot訪問(wèn)的。例如"Allow:/hibaidu"允許robot訪問(wèn)/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個(gè)網(wǎng)站的所有URL默認(rèn)是Allow的，所以Allow通常與Disallow搭配使用，實(shí)現(xiàn)允許訪問(wèn)一部分網(wǎng)頁(yè)同時(shí)禁止訪問(wèn)其它所有URL的功能。

        使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"來(lái)模糊匹配url。
        "*" 匹配0或多個(gè)任意字符
         "$" 匹配行結(jié)束符。

最后需要說(shuō)明的是：百度會(huì)嚴(yán)格遵守robots的相關(guān)協(xié)議，請(qǐng)注意區(qū)分您不想被抓取或收錄的目錄的大小寫(xiě)，百度會(huì)對(duì)robots中所寫(xiě)的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議無(wú)法生效。

robots需求用法對(duì)應(yīng)表

上面說(shuō)了那么多理論，有沒(méi)有簡(jiǎn)單對(duì)照表格告訴我，怎樣的需求場(chǎng)景下應(yīng)該怎樣撰寫(xiě)robots文件？有的：

除robots外其它禁止百度收錄的方法Meta robots標(biāo)簽是頁(yè)面head部分標(biāo)簽的一種，也是一種用于禁止搜索引擎索引頁(yè)面內(nèi)容的指令。目前百度僅支持nofollow和noarchive

nofollow：禁止搜索引擎跟蹤本頁(yè)面上的鏈接

如果您不想搜索引擎追蹤此網(wǎng)頁(yè)上的鏈接，且不傳遞鏈接的權(quán)重，請(qǐng)將此元標(biāo)記置入網(wǎng)頁(yè)的<HEAD> 部分：<meta name="robots" content="nofollow">
如果您不想百度追蹤某一條特定鏈接，百度還支持更精確的控制，請(qǐng)將此標(biāo)記直接寫(xiě)在某條鏈接上：<a href="signin.php" rel="nofollow">signin</a>
要允許其他搜索引擎跟蹤，但僅防止百度跟蹤您網(wǎng)頁(yè)的鏈接，請(qǐng)將此元標(biāo)記置入網(wǎng)頁(yè)的<HEAD> 部分：<meta name="Baiduspider" content="nofollow"> 

noarchive：禁止搜索引擎在搜索結(jié)果中顯示網(wǎng)頁(yè)快照
        要防止所有搜索引擎顯示您網(wǎng)站的快照，請(qǐng)將此元標(biāo)記置入網(wǎng)頁(yè)的<HEAD>部分：<meta name="robots" content="noarchive">
        要允許其他搜索引擎顯示快照，但僅防止百度顯示，請(qǐng)使用以下標(biāo)記：<meta name="Baiduspider" content="noarchive">
        注：此標(biāo)記只是禁止百度顯示該網(wǎng)頁(yè)的快照，百度會(huì)繼續(xù)為網(wǎng)頁(yè)建索引，并在搜索結(jié)果中顯示網(wǎng)頁(yè)摘要。

使用robots巧妙避免蜘蛛黑洞

對(duì)于百度搜索引擎來(lái)說(shuō)，蜘蛛黑洞特指網(wǎng)站通過(guò)極低的成本制造出大量參數(shù)過(guò)多、內(nèi)容類(lèi)同但url不同的動(dòng)態(tài)URL ，就像一個(gè)無(wú)限循環(huán)的“黑洞“，將spider困住。spider浪費(fèi)了大量資源抓取的卻是無(wú)效網(wǎng)頁(yè)。

 如很多網(wǎng)站都有篩選功能，通過(guò)篩選功能產(chǎn)生的網(wǎng)頁(yè)經(jīng)常會(huì)被搜索引擎大量抓取，而這其中很大一部分是檢索價(jià)值低質(zhì)的頁(yè)面。如“500-1000之間價(jià)格的租房”，首先網(wǎng)站（包括現(xiàn)實(shí)中）上基本沒(méi)有相關(guān)資源，其次站內(nèi)用戶(hù)和搜索引擎用戶(hù)都沒(méi)有這種檢索習(xí)慣。這種網(wǎng)頁(yè)被搜索引擎大量抓取，只能是占用網(wǎng)站寶貴的抓取配額，那么該如何避免這種情況呢？

1. 我們以北京美團(tuán)網(wǎng)為例，看看美團(tuán)網(wǎng)是如何利用robots巧妙避免這種蜘蛛黑洞的：
   

2. 對(duì)于普通的篩選結(jié)果頁(yè)，使用了靜態(tài)鏈接，如：
   

3. http://bj.meituan.com/category/zizhucan/weigongcun
   

4. 同樣是條件篩選結(jié)果頁(yè)，當(dāng)用戶(hù)選擇不同排序條件后，會(huì)生成帶有不同參數(shù)的動(dòng)態(tài)鏈接，而且即使是同一種排序條件（如：都是按銷(xiāo)量降序排列），生成的參數(shù)也都是不同的。如：http://bj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhekhttp://bj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
   

對(duì)于美團(tuán)網(wǎng)來(lái)說(shuō)，只讓搜索引擎抓取篩選結(jié)果頁(yè)就可以了，而各種帶參數(shù)的結(jié)果排序頁(yè)面則通過(guò)robots規(guī)則拒絕提供給搜索引擎。在robots.txt的文件用法中有這樣一條規(guī)則：Disallow: /*?* ，即禁止搜索引擎訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面。美團(tuán)網(wǎng)恰是通過(guò)這種方式，對(duì)spider優(yōu)先展示高質(zhì)量頁(yè)面、屏蔽了低質(zhì)量頁(yè)面，為spider提供了更友好的網(wǎng)站結(jié)構(gòu)，避免了黑洞的形成。

禁止百度圖片搜索收錄某些圖片的方法目前百度圖片搜索也使用了與百度網(wǎng)頁(yè)搜索相同的spider，如果想禁止Baiduspider抓取網(wǎng)站上所有圖片、禁止或允許Baiduspider抓取網(wǎng)站上的某種特定格式的圖片文件可以通過(guò)設(shè)置robots實(shí)現(xiàn)：

503狀態(tài)碼的使用場(chǎng)景及與404的區(qū)別

Html狀態(tài)碼也是網(wǎng)站與spider進(jìn)行交流的渠道之一，會(huì)告訴spider網(wǎng)頁(yè)目前的狀態(tài)，spider再來(lái)決定下一步該怎么做——抓or不抓or下次再來(lái)看看。對(duì)于200狀態(tài)碼大家已經(jīng)很熟了，那么我們來(lái)介紹幾種常見(jiàn)的失效網(wǎng)頁(yè)使用的狀態(tài)碼：
【404】404返回碼的含義是“NOT FOUND”，百度會(huì)認(rèn)為網(wǎng)頁(yè)已經(jīng)失效，那么通常會(huì)從搜索結(jié)果中刪除，并且短期內(nèi)spider再次發(fā)現(xiàn)這條url也不會(huì)抓取。
【503】503返回碼的含義是“Service Unavailable”，百度會(huì)認(rèn)為該網(wǎng)頁(yè)臨時(shí)不可訪問(wèn)，通常網(wǎng)站臨時(shí)關(guān)閉，帶寬有限等會(huì)產(chǎn)生這種情況。對(duì)于網(wǎng)頁(yè)返回503，百度spider不會(huì)把這條url直接刪除，短期內(nèi)會(huì)再訪問(wèn)。屆時(shí)如果網(wǎng)頁(yè)已恢復(fù)，則正常抓取；如果繼續(xù)返回503，短期內(nèi)還會(huì)反復(fù)訪問(wèn)幾次。但是如果網(wǎng)頁(yè)長(zhǎng)期返回503，那么這個(gè)url仍會(huì)被百度認(rèn)為是失效鏈接，從搜索結(jié)果中刪除。
【301】301返回碼的含義是“Moved Permanently”，百度會(huì)認(rèn)為網(wǎng)頁(yè)當(dāng)前跳轉(zhuǎn)至新url。當(dāng)遇到站點(diǎn)遷移，域名更換、站點(diǎn)改版的情況時(shí)，推薦使用301返回碼，盡量減少改版帶來(lái)的流量損失。雖然百度spider現(xiàn)在對(duì)301跳轉(zhuǎn)的響應(yīng)周期較長(zhǎng)，但我們還是推薦大家這么做。

一些網(wǎng)站把未建好的頁(yè)面放到線上，并且這些頁(yè)面在被百度抓取的時(shí)候返回碼是404，于是頁(yè)面被百度抓取后會(huì)被當(dāng)成死鏈直接刪除。但是這個(gè)頁(yè)面在第二天或者過(guò)幾天就會(huì)建好，并上線到網(wǎng)站內(nèi)展現(xiàn)出來(lái)，但是由于之前已經(jīng)被百度當(dāng)做死鏈刪除，所以要再次等這些鏈接被發(fā)現(xiàn)，然后抓取才能展現(xiàn)，這樣的操作最終會(huì)導(dǎo)致一些頁(yè)面在一段時(shí)間內(nèi)不會(huì)在百度出現(xiàn)。比如某個(gè)大型門(mén)戶(hù)網(wǎng)站爆出大量新聞時(shí)效性很強(qiáng)的專(zhuān)題未被百度及時(shí)收錄的問(wèn)題，經(jīng)檢查驗(yàn)證后發(fā)現(xiàn)就是因?yàn)轫?yè)面未建成就放置在線上，并返回404狀態(tài)碼，被百度當(dāng)成死鏈刪除，造成收錄和流量損失。

對(duì)于這樣的問(wèn)題，建議網(wǎng)站使用503返回碼，這樣百度的抓取器接到503返回碼后，會(huì)在隔一段時(shí)間再去訪問(wèn)這個(gè)地址，在您的頁(yè)面建好上線后，就又能被重新抓取，保證頁(yè)面及時(shí)被抓取和索引，避免未建好的內(nèi)容設(shè)為404后帶來(lái)不必要的收錄和流量損失。

其它建議和總結(jié)：
        1、如果百度spider對(duì)您的站點(diǎn)抓取壓力過(guò)大，請(qǐng)盡量不要使用404，同樣建議返回503。這樣百度spider會(huì)過(guò)段時(shí)間再來(lái)嘗試抓取這個(gè)鏈接，如果那個(gè)時(shí)間站點(diǎn)空閑，那它就會(huì)被成功抓取了 
        2、如果站點(diǎn)臨時(shí)關(guān)閉或者頁(yè)面暫未建好上線，當(dāng)網(wǎng)頁(yè)不能打開(kāi)時(shí)以及沒(méi)有建好時(shí)，不要立即返回404，建議使用503狀態(tài)。503可以告知百度spider該頁(yè)面臨時(shí)不可訪問(wèn)，請(qǐng)過(guò)段時(shí)間再重試。

連通率為0的前因后果及預(yù)防補(bǔ)救措施

在百度site站點(diǎn)時(shí)，遇到“連通率為0”說(shuō)明Baiduspider在訪問(wèn)站點(diǎn)時(shí)發(fā)現(xiàn)了問(wèn)題，該問(wèn)題非常嚴(yán)重，如果Baiduspider持續(xù)一天時(shí)間無(wú)法訪問(wèn)有可能給站點(diǎn)帶來(lái)災(zāi)難性的損失。

一、何謂連通率
　　既然為率，那么就是一個(gè)統(tǒng)計(jì)相關(guān)概念。我們不妨可以這樣理解一個(gè)網(wǎng)站的連通率：百度蜘蛛在抓取網(wǎng)站頁(yè)面的時(shí)候計(jì)算的一個(gè)概率，比如它抓取某網(wǎng)站中的N個(gè)頁(yè)面，這N個(gè)頁(yè)面都能打開(kāi)并被蜘蛛成功抓取，這樣的連通率就是N/N=100%，反之蜘蛛抓取N個(gè)頁(yè)面有M個(gè)頁(yè)面能成功抓取，連通率就是M/N

這里先說(shuō)明幾個(gè)常識(shí)：
　　1、不是網(wǎng)站被某算法懲罰而導(dǎo)致連通率為0，也不是網(wǎng)站流量下降而導(dǎo)致連通率數(shù)值很低；
　　2、連通率代表著百度蜘蛛獲取網(wǎng)站數(shù)據(jù)的情況，如果連通率數(shù)值很低或?yàn)?，那么可能連維持網(wǎng)站的正常收錄等都成問(wèn)題；
　　3、假如網(wǎng)站被判定連通不了，那么如果讓一個(gè)連通不了的站點(diǎn)在百度中獲取排名，就會(huì)大大影響搜索用戶(hù)的體驗(yàn)，于是百度就會(huì)采取對(duì)該站點(diǎn)有效引流的索引清除操作，一些站長(zhǎng)就會(huì)發(fā)現(xiàn)自己的網(wǎng)站索引量突然大幅度下降，甚至索引被短暫清0了，接著就是網(wǎng)站百度搜索流量大幅度下降，這種突發(fā)性的事件又會(huì)造成站長(zhǎng)們的揣測(cè)，以為自己的網(wǎng)站被百度懲罰了，其實(shí)站長(zhǎng)們先應(yīng)該注意的是站點(diǎn)的連通情況。

二、提取核心詞
　　上述概念中，我們需要注意的幾個(gè)詞有：”百度蜘蛛”； ”在抓取”； ”N個(gè)頁(yè)面”； ”M個(gè)頁(yè)面”； ”都能打開(kāi)并被成功抓取”。


三、連通率很低或?yàn)?時(shí)
我們抓住上述5個(gè)提取出的核心詞進(jìn)行分析。

（一）百度蜘蛛
1、謹(jǐn)防百度蜘蛛訪問(wèn)被操控或禁止
（1）由于百度蜘蛛的抓取量等原因?qū)σ恍┓?wù)器造成壓力，而這些網(wǎng)絡(luò)商或網(wǎng)站運(yùn)營(yíng)方從某利益角度考慮，無(wú)意或有意的屏蔽百度蜘蛛，導(dǎo)致部分或全部百度蜘蛛ip獲取不到網(wǎng)站數(shù)據(jù)；
（2）一些網(wǎng)站運(yùn)營(yíng)方或網(wǎng)絡(luò)商對(duì)蜘蛛進(jìn)行區(qū)別對(duì)待，比如國(guó)外蜘蛛ip、山東蜘蛛ip、北京蜘蛛ip等返回不同的數(shù)據(jù)，移花接木的手段層出不窮，而這個(gè)過(guò)程很可能造成百度蜘蛛的異常行為或異常狀態(tài)返回；

所以我們首先要確保百度蜘蛛的訪問(wèn)有沒(méi)有被操控或禁止。

2、預(yù)防措施
（1）完善聯(lián)系方式獲得百度站長(zhǎng)工具消息提醒


　　雖然一些網(wǎng)站異常情況會(huì)收到百度站長(zhǎng)工具消息提醒，然而我想告訴大家不是所有自己站點(diǎn)異常都可以寄希望于消息提醒的，自己心里要知道連發(fā)郵件都可能出現(xiàn)收不到的情況，更何況各種復(fù)雜的異常情況，因此不要出問(wèn)題了只會(huì)問(wèn)“為什么站長(zhǎng)工具沒(méi)有給我發(fā)消息”。

（2）利用抓取異常和抓取頻次工具觀察抓取情況
↓抓取異常工具的網(wǎng)址異常情況


↓抓取頻次工具的抓取統(tǒng)計(jì)情況




↓每個(gè)工具頁(yè)面的右側(cè)下方都有使用說(shuō)明，如下


（3）抓取診斷工具是重中之重

為了保證網(wǎng)站對(duì)百度蜘蛛的穩(wěn)定訪問(wèn)性能，日常我們需要養(yǎng)成定期抓取診斷的習(xí)慣，另外抓取診斷不是說(shuō)光看看狀態(tài)是否“抓取成功”就行了。有下面幾步進(jìn)行：
　　第一步：下拉選擇分”pc”、 ”移動(dòng)”進(jìn)行抓取，”pc”意味著一般意義上的電腦端訪問(wèn)診斷，”移動(dòng)”則是如手機(jī)、平板等移動(dòng)設(shè)備端訪問(wèn)診斷；
　　第二步：網(wǎng)站主要的引流頁(yè)，如首頁(yè)、詳情頁(yè)、內(nèi)容頁(yè)、專(zhuān)題頁(yè)等都要進(jìn)行抓取，另外可以重點(diǎn)幾個(gè)時(shí)間段（比如網(wǎng)站高峰時(shí)間段）每天定期進(jìn)行測(cè)試；
　　第三步：抓取失敗了，點(diǎn)擊”抓取失敗”查看提示信息，如果自己沒(méi)有技術(shù)能力解決問(wèn)題，可以跟空間商進(jìn)行溝通，然后向工具提交報(bào)錯(cuò)；
　　
　　第四步：抓取成功后，也不能說(shuō)就萬(wàn)事大吉了，還要點(diǎn)擊”抓取成功”進(jìn)去注意：提交網(wǎng)址、抓取網(wǎng)址、抓取UA、網(wǎng)站ip、下載時(shí)長(zhǎng)、頭部信息（服務(wù)器返回狀態(tài)碼、gzip等相關(guān)信息）、網(wǎng)頁(yè)源碼是否都正常。

特別說(shuō)明：有很多站長(zhǎng)就光注意抓取成功，卻不知網(wǎng)站ip可能并非自己的實(shí)際ip，被網(wǎng)絡(luò)商搞到哪里去了都不知道，還可能每隔一段時(shí)間都變。當(dāng)發(fā)現(xiàn)ip有問(wèn)題，及時(shí)跟網(wǎng)絡(luò)商溝通，并在網(wǎng)站ip旁點(diǎn)擊“報(bào)錯(cuò)”按鈕，百度會(huì)更新網(wǎng)站ip，但是切記不要ip變化頻繁。此外當(dāng)然還可能出現(xiàn)實(shí)際抓取網(wǎng)址、頭部信息、網(wǎng)頁(yè)源碼等都不是自己本來(lái)設(shè)置的。

（二）在抓取
　　這是反映百度蜘蛛在抓取時(shí)的狀態(tài)，百度的工具顯示的數(shù)值肯定都是抓取后計(jì)算出來(lái)的數(shù)據(jù)，因此任何工具的連通率數(shù)據(jù)必定存在延遲性，另外這個(gè)計(jì)算過(guò)程也存在一定可能的錯(cuò)誤，所以我們看到任何工具中關(guān)于連通率的數(shù)據(jù)，不要說(shuō)“我網(wǎng)站用抓取診斷等工具檢查訪問(wèn)情況都好好的，為什么連通率還是0”，因此除了上述建議的多抓取診斷測(cè)試外，自己可以加些監(jiān)控網(wǎng)站連接狀態(tài)的措施，筆者本人就曾經(jīng)接收了不少關(guān)于網(wǎng)站連接不通的提醒。這時(shí)我會(huì)及時(shí)跟網(wǎng)絡(luò)商溝通，然后及時(shí)用抓取診斷檢查蜘蛛的情況。

（三）N個(gè)頁(yè)面與M個(gè)頁(yè)面
　　這N、M個(gè)頁(yè)面，可能百度蜘蛛很湊巧就趕上高峰的時(shí)候或者一些假死頁(yè)面（執(zhí)行時(shí)間較長(zhǎng)，超過(guò)蜘蛛的耐心），那么M這個(gè)數(shù)值就會(huì)很低，統(tǒng)計(jì)概率的東西大家都懂的，那么這時(shí)網(wǎng)站的連通率依舊很低或?yàn)?。因此若連通率為0，我們還可以知道自己應(yīng)該注意查看訪問(wèn)日志，及時(shí)清理死鏈，或者并發(fā)連接數(shù)增大，或者增加內(nèi)存等等。

（四）都能打開(kāi)并被成功抓取
這里主要注意DNS和空間的穩(wěn)定性。

1、DNS的問(wèn)題
參考當(dāng)心 dns服務(wù)器不穩(wěn)導(dǎo)致站點(diǎn)被屏

提醒大家注意的是現(xiàn)在不少云類(lèi)ns服務(wù)器，這個(gè)過(guò)程中由于處理機(jī)制問(wèn)題，包括回源障礙等等，較容易造成這個(gè)問(wèn)題。另外國(guó)內(nèi)大型服務(wù)商提供，比如你使用了dnspod，并不代表你的dns就應(yīng)該是ok的。有的站長(zhǎng)存在著對(duì)大型服務(wù)商的錯(cuò)誤認(rèn)識(shí)，如 “新網(wǎng)的dns就是不可靠的，我都用百度云加速”。我們要明白廉價(jià)的東西質(zhì)量都有一定局限性，所以需要自己檢查dns解析情況，具體上網(wǎng)找找相關(guān)資料或平臺(tái)，看看dns解析出的ip以及解析延遲情況等等。

2、空間的穩(wěn)定性
　　很多人都會(huì)用超級(jí)ping了，這個(gè)不多說(shuō)了。但是我還要告訴大家有下面兩點(diǎn)需要注意：
　　A、不良的網(wǎng)絡(luò)商會(huì)對(duì)不同用戶(hù)ip進(jìn)行不同處理，自己可以用vpn等工具觀察下不同地區(qū)ip段的網(wǎng)站訪問(wèn)情況與返回內(nèi)容；
　　B、空間的資源不足，內(nèi)存、并發(fā)連接等等，當(dāng)訪問(wèn)量很少的時(shí)候，自己察覺(jué)不出，需要提高訪問(wèn)量，增加連接時(shí)間。因此使用一些監(jiān)控工具時(shí)，發(fā)現(xiàn)監(jiān)控工具訪問(wèn)測(cè)試量巨大，或者被人刷流量時(shí)，你應(yīng)該慶幸，而不是著急拒絕，因?yàn)槟憧梢粤私獾阶约旱目臻g承壓能力。

四、連通率問(wèn)題處理完畢后
　　如果你的網(wǎng)站索引由于連通率而非懲罰原因被清理了，處理完畢問(wèn)題，可以在抓取頻次工具中提交增加抓取頻次的請(qǐng)求，將抓取頻次增加到一定額度（建議自己查看工具中對(duì)抓取頻次的說(shuō)明后再根據(jù)網(wǎng)站實(shí)際情況調(diào)整），然后增加自己的網(wǎng)站數(shù)據(jù)更新頻率與質(zhì)量，加強(qiáng)與百度的數(shù)據(jù)溝通（如url提交、sitemap等等），很快就能恢復(fù)。相關(guān)工具展示如下（每個(gè)工具頁(yè)面的右側(cè)下方都有相關(guān)說(shuō)明鏈接，可以點(diǎn)擊去了解使用注意事項(xiàng)）：

1、抓取頻次中的頻次調(diào)整工具：


2、鏈接提交工具：


3、鏈接提交工具中的主動(dòng)推送、sitemap、手動(dòng)提交方式：

https站點(diǎn)如何做才能對(duì)百度友好

2015年5月25日，百度站長(zhǎng)平臺(tái)發(fā)布公告，宣布全面放開(kāi)對(duì)https站點(diǎn)的收錄，https站點(diǎn)不再需要做任何額外工作即可被百度抓收。采用了本文之前建議的https站點(diǎn)可以關(guān)閉http版，或者將http頁(yè)面跳轉(zhuǎn)到對(duì)應(yīng)的https頁(yè)面。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

百度搜索引擎目前不主動(dòng)抓取https網(wǎng)頁(yè)，導(dǎo)致大部分https網(wǎng)頁(yè)無(wú)法收錄。但是如果網(wǎng)站一定要使用https加密協(xié)議的話該如何做到對(duì)百度搜索引擎友好呢。其實(shí)很簡(jiǎn)單：
1，為需要被百度搜索引擎收錄的https頁(yè)面制作http可訪問(wèn)版。

2，通過(guò)user-agent判斷來(lái)訪者，將Baiduspider定向到http頁(yè)面，普通用戶(hù)通過(guò)百度搜索引擎訪問(wèn)該頁(yè)面時(shí)，通過(guò)301重定向至相應(yīng)的https頁(yè)面。如圖所示，上圖為百度收錄的http版本，下圖為用戶(hù)點(diǎn)擊后會(huì)自動(dòng)跳入https版本。


3，http版本不是只為首頁(yè)制作，其它重要頁(yè)面也需要制作http版本，且互相鏈接，切不要出現(xiàn)這種情況：首頁(yè)http頁(yè)面上的鏈接依然鏈向https頁(yè)面，導(dǎo)致Baiduspider無(wú)法繼續(xù)抓取——我們?cè)?jīng)遇到這種情況，導(dǎo)致整個(gè)網(wǎng)點(diǎn)我們只能收錄一個(gè)首頁(yè)。如下面這個(gè)做法就是錯(cuò)誤的：http://www.abc.com/ 鏈向https://www.adc.com/bbs/

4，可以將部分不需要加密的內(nèi)容，如資訊等使用二級(jí)域名承載。比如支付寶站點(diǎn)，核心加密內(nèi)容放在https上，可以讓Baiduspider直接抓取的內(nèi)容都放置在二級(jí)域名上。

站點(diǎn)切換https不會(huì)對(duì)流量產(chǎn)生負(fù)面影響問(wèn)：對(duì)于http和https，Baiduspider會(huì)不會(huì)區(qū)別對(duì)待？
答：不會(huì)區(qū)別對(duì)待。說(shuō)得再全整專(zhuān)業(yè)一些：Baiduspider在對(duì)于http和https站點(diǎn)的調(diào)度和解析方面沒(méi)有任何區(qū)別。至于建索引庫(kù)，年初的時(shí)候百度進(jìn)行過(guò)升級(jí)，目前對(duì)https站點(diǎn)也是全力支持的。

問(wèn)：Baiduspider可以抓取https網(wǎng)站嗎？站點(diǎn)https以后應(yīng)該做些什么？
答：在抓取方面，Baiduspider完全支持https鏈接的抓取。站長(zhǎng)需要注意的一點(diǎn)是要保證http鏈接到https鏈接良好的重定向（使用301或302），這樣百度可以做到無(wú)縫切換。另外可以使用鏈接提交工具提交https鏈接，盡快通知百度。

問(wèn)：站點(diǎn)切換https以后，新產(chǎn)生的https頁(yè)面，百度會(huì)將其視為新頁(yè)面重新收錄？重新計(jì)算排名？
答：不是的，不涉及重新收錄的問(wèn)題。

問(wèn)：https以后可以使用改版工具向百度提交http與https的對(duì)應(yīng)關(guān)系嗎？
答：http站和https站會(huì)被百度視為同一個(gè)站點(diǎn)，不屬于改版，不適用改版工具。

問(wèn)：https以后，排序有可能發(fā)生什么變化？
答：在rank方面，現(xiàn)在對(duì)兩種鏈接無(wú)區(qū)別對(duì)待，從安全性考慮，以后可能會(huì)優(yōu)待https的鏈接。

禁止百度保留快照的代碼：noarchive

很多站點(diǎn)出于隱私的考慮不希望百度保留快照，網(wǎng)上也在討論如何禁止百度保留快照的方法。其實(shí)百度早已對(duì)此有過(guò)說(shuō)明，但藏在一篇不起眼的文章中不引人注目，導(dǎo)致依然非常多的人不清楚該如何操作。上周恰好又有人問(wèn)到這個(gè)問(wèn)題，特意進(jìn)行說(shuō)明。

 要防止所有搜索引擎顯示您網(wǎng)站的快照，請(qǐng)將此元標(biāo)記置入網(wǎng)頁(yè)的<HEAD>部分：<meta name="robots" content="noarchive">

要允許其他搜索引擎顯示快照，但僅防止百度顯示，請(qǐng)使用以下標(biāo)記：<meta name="Baiduspider" content="noarchive">

注：此標(biāo)記只是禁止百度顯示該網(wǎng)頁(yè)的快照，并不會(huì)影響網(wǎng)頁(yè)建入索引，同時(shí)垃圾網(wǎng)頁(yè)也不可能依靠此手段逃避百度的判罰。