為什么robots文件更新了很久蜘蛛還在抓取被禁止的文件

創(chuàng)新互聯(lián)建站導(dǎo)讀：官方解釋：在百度搜索資源平臺使用robots工具進行更新，并及時關(guān)注文件生效時間，若3天后還未生效，建議提供具體問題截圖和具體的URL在反饋中心反饋，以便排查問題。另外開發(fā)者自查robots.txt文件是否書寫錯誤，robots文件往往放置在根目錄下，包含一條或更多的記錄，這些記錄通過空行分開。

成都創(chuàng)新互聯(lián)公司服務(wù)項目包括臨澤網(wǎng)站建設(shè)、臨澤網(wǎng)站制作、臨澤網(wǎng)頁制作以及臨澤網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，臨澤網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到臨澤省份的部分城市，未來相信會繼續(xù)擴大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

問題：為什么robots文件更新了很久蜘蛛還在抓取被禁止的文件？

回答：官方解釋：在百度搜索資源平臺使用robots工具進行更新，并及時關(guān)注文件生效時間，若3天后還未生效，建議提供具體問題截圖和具體的URL在反饋中心反饋，以便排查問題。另外開發(fā)者自查robots.txt文件是否書寫錯誤，robots文件往往放置在根目錄下，包含一條或更多的記錄，這些記錄通過空行分開。

從百度方面的解釋可以看到，理論上百度搜索對于robots文件的反應(yīng)是比較快的，基本3天左右就能生效。

但要注意，這只是理論上的！就目前百度相關(guān)的工具來看，似乎很多都會出現(xiàn)延遲的情況。當然，不管具體什么原因，作為普通的站長，我們都不能去改變什么。能做的就是進行自我排查，在確定操作無誤之后，再按照百度的要求，提供相關(guān)資料進行反饋。

還有創(chuàng)新互聯(lián)建議，我們在做SEO的時候，要把重心放在站內(nèi)優(yōu)化上，堅持內(nèi)容為王，提供優(yōu)質(zhì)的網(wǎng)站內(nèi)容和用戶體驗。百度方面提供的這些工具，的確能夠解決某些問題，但改變不了根本。

比如我們不能把網(wǎng)站收錄寄希望于百度搜索的快速收錄，雖然快速收錄提供了快速蜘蛛抓取的通道，但真正影響到頁面收錄的還是頁面的質(zhì)量度。所以，我們需要把網(wǎng)站真正的做好，再通過這些工具進行輔助提升，這樣相輔相成才是網(wǎng)站優(yōu)化的正確方式。

分享題目：為什么robots文件更新了很久蜘蛛還在抓取被禁止的文件
鏈接分享：http://muchs.cn/article44/ddoee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、微信小程序、網(wǎng)站制作、商城網(wǎng)站、響應(yīng)式網(wǎng)站、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)