robots文件

2022-06-16    分類： 網(wǎng)站建設(shè)

搜索引擎蜘蛛訪問網(wǎng)站時(shí)會先看網(wǎng)站根目錄下有沒有一個(gè)命名為robots的純文本文件，robots.txt用于指令搜索引擎蜘蛛禁止抓取網(wǎng)站某些內(nèi)容或者指定允許搜索引擎抓取某些內(nèi)容，如百度的robots文件位于： www.baidu.com/robots.txt
深圳網(wǎng)站制作認(rèn)為，只有在需要禁止某些內(nèi)容時(shí)，寫robots.txt才有意義。robots文件不存在或者空文件都默認(rèn)意味著允許搜索引擎抓取所有內(nèi)容。有的服務(wù)器設(shè)置有問題，robots文件不存在時(shí)會返回200狀態(tài)碼及一些錯(cuò)誤信息。而不是404狀態(tài)碼，還有可能會使搜索引擎錯(cuò)誤解讀robots文件信息，所以建議就算允許抓取所有內(nèi)容，也要建一個(gè)空的robots.txt文件，放在根目錄下。
深圳做網(wǎng)站實(shí)踐得出結(jié)論，主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎將不再訪問或者不抓取。但要注意，被robots文件禁止抓取的URL還是可能會出現(xiàn)在搜索結(jié)果中，只要有導(dǎo)入鏈接指向這個(gè)URL，成都建網(wǎng)站認(rèn)為搜索引擎就知道這個(gè)URL的存在，雖然不會抓取頁面內(nèi)容，但是可能一下幾種形式還是會顯示在搜索結(jié)果中：
1.只顯示URL，沒有標(biāo)題，描述。谷歌通常這么處理。
2.只顯示開放目錄或者雅虎等重要目錄收錄的標(biāo)題和描述。
3.導(dǎo)入鏈接的錨文字顯示為標(biāo)題和描述。百度通常這樣處理。
總之，只要想讓URL完全不出現(xiàn)在搜索結(jié)果中，需要使用頁面上的meta robots標(biāo)簽。

網(wǎng)頁標(biāo)題：robots文件
文章網(wǎng)址：http://www.muchs.cn/news9/167759.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站維護(hù)、網(wǎng)站排名、網(wǎng)站收錄、用戶體驗(yàn)、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁設(shè)計(jì)