robots禁止網(wǎng)站抓取，還會被搜索引擎索引收錄嗎？

網(wǎng)站優(yōu)化診斷的其中一項(xiàng)，就是檢查有無做robots文件，是否規(guī)范。如果網(wǎng)站的robots協(xié)議文件禁止了搜索引擎蜘蛛，那么無論你怎么優(yōu)化都不會被收錄。

成都創(chuàng)新互聯(lián)專注于無極網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供無極營銷型網(wǎng)站建設(shè)，無極網(wǎng)站制作、無極網(wǎng)頁設(shè)計、無極網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)公司服務(wù)，打造無極網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供無極網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

趁著寫這篇文章，給這句話做個糾正，請大家認(rèn)真閱讀并且理解。如下：

如果你的網(wǎng)站添加了robots協(xié)議文件，并且設(shè)置了禁止搜索引擎蜘蛛的指令，那么你的網(wǎng)站內(nèi)容將不會被抓取，但有可能會被收錄（索引）。

有些人可能會有疑問，搜索引擎蜘蛛爬行url頁面，頁面需要有內(nèi)容呈現(xiàn)出來反饋給到蜘蛛，才有可能會被收錄。那么，如果內(nèi)容都被禁止了還會被收錄嗎？這是什么意思呢？這個問題這里先不解釋，大家先看看下面的圖片吧。

如圖所示，以上是site：淘寶域名出現(xiàn)被收錄的結(jié)果。從site結(jié)果里面可以清楚的看到，從site結(jié)果里面可以清楚的看到，這里收錄了很多淘寶網(wǎng)站的頁面，顯示收錄結(jié)果為2億6159萬個頁面。但是大家不知道有沒有發(fā)現(xiàn)一個問題，這些頁面抓取的描述內(nèi)容都是提示了這樣一段文字：由于該網(wǎng)站的robots.txt文件存在限制指令（限制搜索引擎抓?。到y(tǒng)無法提供該頁面的內(nèi)容描述

robots禁止搜索引擎蜘蛛后為什么會被收錄呢？

這里有個認(rèn)知上的錯誤，也可能是慣性邏輯思維的錯誤思考。大家都認(rèn)為蜘蛛不能抓取內(nèi)容就不會收錄，實(shí)際上爬行、抓取、索引（收錄）是不同的概念。很多人學(xué)習(xí)SEO的時候，經(jīng)常性的對一些SEO的概念混肴不清，導(dǎo)致在后面的SEO優(yōu)化過程當(dāng)中并不能發(fā)揮出很好的效果。

還是先來說說robots協(xié)議到底是在做什么？既然是協(xié)議，那肯定是雙方同意、認(rèn)可的規(guī)矩。這個甲乙自然就是網(wǎng)站和搜索引擎（或者說搜索引擎蜘蛛）之間的協(xié)議。robots文件會放在根目錄下，蜘蛛進(jìn)入網(wǎng)站會第一時間訪問這個文件，然后看看協(xié)議里面有沒有禁止了那些頁面不能抓取，如果禁止了就不會再去抓取。

一個頁面想要去搜索引擎索引（收錄），收錄要有蜘蛛爬行和抓取，既然不抓取，理所當(dāng)然的就會被認(rèn)為這個頁面是不會被收錄。這樣的思維是錯誤的，不抓取也是可以被索引（收錄）。如淘寶就是一個典型的案例，網(wǎng)站添加了禁止協(xié)議，最后還是被收錄。原因在于，百度從其它渠道平臺推薦的外部鏈接了解到這個網(wǎng)站，雖然被禁止抓取，但從標(biāo)題和推薦鏈接的數(shù)據(jù)里還是可以判斷出與該頁面相應(yīng)的內(nèi)容信息。

好了，關(guān)于robots的知識分享就和大家說到這里?？赡苡行┤诉€有疑問，比如說：robots既然不能夠阻止頁面被收錄，有沒有辦法禁止索引（收錄）呢？當(dāng)然有，大家可以site天貓，如圖：

建議可以到百度學(xué)院了解robots使用簡介：https://ziyuan.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28

標(biāo)題名稱：robots禁止網(wǎng)站抓取，還會被搜索引擎索引收錄嗎？
鏈接分享：http://muchs.cn/article36/djgcsg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設(shè)、用戶體驗(yàn)、靜態(tài)網(wǎng)站、面包屑導(dǎo)航、網(wǎng)站維護(hù)、軟件開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)