解析網(wǎng)站寫入Robots.txt文件之后會被搜索引擎蜘蛛收錄的原因

來源：超達(dá)科技 發(fā)布時間：2022-02-15瀏覽：1909次

有些基于SEO的東西總是容易被忽略，比如Robots.txt文件。在seo優(yōu)化的文章中多次提到了關(guān)于Robots.txt文件的重要性。網(wǎng)站優(yōu)化的診斷方法之一是檢查文檔是否制作，是否標(biāo)準(zhǔn)化。如上文所述，如果搜索引擎蜘蛛被禁止進(jìn)入網(wǎng)站的Robots.txt協(xié)議文件，無論你如何優(yōu)化它，它都不會被收錄在內(nèi)。  

Robots.txt協(xié)議文件寫入  

如果您將Robots.txt協(xié)議文件添加到您的網(wǎng)站并設(shè)置禁止搜索引擎蜘蛛的說明，您的網(wǎng)站內(nèi)容將不會被爬行，但可能會被收錄（索引）。  

有些人可能會有疑問，搜索引擎蜘蛛爬行網(wǎng)址頁面，頁面需要呈現(xiàn)蜘蛛的內(nèi)容反饋，才有可能被收錄。所以，如果內(nèi)容被禁止，會被收錄在內(nèi)嗎？那是什么意思？在這里沒有解釋這個問題。

為什么Robots.txt協(xié)議文件禁止之后會被搜索引擎蜘蛛收錄？  

這里有一個認(rèn)知錯誤，也可能是慣性邏輯思維的錯誤思維。每個人都認(rèn)為蜘蛛不能捕獲內(nèi)容，也不能收錄其中。事實上，爬行、抓取和索引是不同的概念。很多人在學(xué)習(xí)SEO時，經(jīng)常混淆一些SEO的概念，導(dǎo)致后續(xù)的SEO優(yōu)化過程中性能不佳。 

或者首先，Robots.txt協(xié)議文件在做什么？因為它是一個協(xié)議，它必須是一個雙方都同意和接受的規(guī)則。這A和B自然是網(wǎng)站和搜索引擎（或搜索引擎蜘蛛）之間的協(xié)議。Robots.txt協(xié)議文件將被放置在根目錄中，蜘蛛會在次進(jìn)入網(wǎng)站時訪問該文件，然后查看協(xié)議中是否有任何頁面無法爬行，如果被禁止，則不會再次爬行。  

Robots.txt協(xié)議文件的意義

如果一個頁面想要被搜索引擎索引（包括），它應(yīng)該被爬行器爬行和爬行。由于未對其進(jìn)行爬網(wǎng)，因此將理所當(dāng)然地不包括此頁。這樣的想法是錯誤的，可以索引而不必抓取。例如，淘寶是一個典型的案例，該網(wǎng)站添加了一個禁止協(xié)議，終被收錄。原因是百度從其他渠道平臺推薦的外部鏈接中了解到了這個網(wǎng)站。雖然禁止爬行，但可以通過標(biāo)題和推薦鏈接的數(shù)據(jù)判斷與此頁面相對應(yīng)的內(nèi)容信息。