網(wǎng)站robots文件常見問題解答

大家好，本篇文章講解如何使用Robots工具及如何正確設置蜘蛛的抓取范圍。

一、了解什么是robots文件

1、什么是robots文件？
robots文件主要用于聲明搜索引擎蜘蛛Spider在網(wǎng)站里的抓取內(nèi)容的范圍，告訴蜘蛛哪些內(nèi)容不可以抓取哪些資源可以抓；

2、robots.txt文件寫法
robots.txt文件可以包含一條或多條記錄，以空行分開，通常以User-agent開始，后面再加上Disallow或者Allow命令行，不需要的命令行也可以使用#進行注解，如下詳情所示：

User-agent：用于描述允許哪些搜索引擎抓取該網(wǎng)站，例如“*”號代表所有搜索引擎都可以抓取，“Baiduspeder”只允許百度蜘蛛抓取，“Googlebot”只允許谷歌蜘蛛抓取，“Bingbot”只允許必應蜘蛛抓取。
Disallow：用于描述不希望搜索蜘蛛抓取的URL鏈接或結構目錄，可以是一條完整的URL鏈接，也可以是一個URL結構目錄，但不能是空格，空格表示此網(wǎng)站禁止所有搜索引擎抓取，以Disallow開頭的URL鏈接或結構目錄是不會被蜘蛛抓取的。
Allow：正好與Disallow相反，該條robots命令表達的意思是允許搜索蜘蛛抓取URL鏈接或目錄，因此以Allow開頭的URL鏈接或結構目錄是允許蜘蛛抓取的。
如果網(wǎng)站根目錄沒有robots.txt文件或者為空，那么，表達的意思是就是此網(wǎng)站所有鏈接和目錄，對所有搜索引擎都是開放的。
注意：大家在撰寫robots.txt文件時，要注意URL鏈接或結構目錄名稱的大小寫，否則robots協(xié)議不會生效。

3、robots.txt文件放置位置：通常放于網(wǎng)站根目錄下

二、如何使用Robots工具

1、Robots工具的作用？
可使用百度站長平臺Robots工具，對網(wǎng)站robots.txt文件進行校驗、更新等操作，查看網(wǎng)站robots.txt文件是否生效或是否有錯誤；

2、使用Robots工具的注意事項？
百度站長平臺Robots工具目前只能檢測48K以內(nèi)的文件，所以站長們要注意，網(wǎng)站robots.txt文件不要過大，新的robots文件創(chuàng)建更新后，蜘蛛不會馬上調(diào)整抓取方向，是逐步對網(wǎng)站robots.txt文件抓取規(guī)則進行更新的。

3、網(wǎng)站robots.txt文件中已經(jīng)設置了禁止蜘蛛抓取的內(nèi)容，為什么還會出現(xiàn)在網(wǎng)站索引數(shù)據(jù)中。

可能有以下兩個方面的原因：
1）網(wǎng)站robots.txt文件不能正常訪問，這種情況，我們可以使用站長平臺Robots工具進行檢測，檢測robots文件是否可以正常訪問；
2）新創(chuàng)建或新更新的robots.txt文件還沒有生效，蜘蛛執(zhí)行的抓取原則還是未更新前robots.txt文件，新的robots文件生效周期為1~2周。

4、Robots工具校驗提示
網(wǎng)站Robots文件，出現(xiàn)以上錯誤，則有可能是以下原因：

錯誤碼500，表示網(wǎng)站robots頁面訪問失??；
錯誤碼301，表示網(wǎng)站robots文件存在跳轉(zhuǎn)關系；
錯誤碼404，表示網(wǎng)站robots文件不能正常訪問；
如果你網(wǎng)站的Robots文件也有出現(xiàn)以上錯誤代碼，建議根據(jù)以上情況進行自查，重新提交校驗。

5、robots文件禁止了蜘蛛訪問，如何處理？
1）馬上修改網(wǎng)站robots文件，將封禁改為允許；
2）使用站長平臺robots工具更新robots文件，顯示抓取失敗，多抓取幾次，觸發(fā)蜘蛛來抓取你的網(wǎng)站；
3）注意下抓取頻次情況，如果抓取頻次過低，可申請調(diào)整下抓取頻次；
4）使用百度站長平臺里的“資源提交-普通收錄”工具，主動向搜索引擎提交網(wǎng)站鏈接。

網(wǎng)頁名稱：網(wǎng)站robots文件常見問題解答
本文網(wǎng)址：http://muchs.cn/news2/321852.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供面包屑導航、ChatGPT、搜索引擎優(yōu)化、自適應網(wǎng)站、軟件開發(fā)、網(wǎng)站維護

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)