robots文件

2022-06-16    分類： 網(wǎng)站建設(shè)

搜索引擎蜘蛛訪問網(wǎng)站時會先看網(wǎng)站根目錄下有沒有一個命名為robots的純文本文件，robots.txt用于指令搜索引擎蜘蛛禁止抓取網(wǎng)站某些內(nèi)容或者指定允許搜索引擎抓取某些內(nèi)容，如百度的robots文件位于： www.baidu.com/robots.txt
深圳網(wǎng)站制作認為，只有在需要禁止某些內(nèi)容時，寫robots.txt才有意義。robots文件不存在或者空文件都默認意味著允許搜索引擎抓取所有內(nèi)容。有的服務器設(shè)置有問題，robots文件不存在時會返回200狀態(tài)碼及一些錯誤信息。而不是404狀態(tài)碼，還有可能會使搜索引擎錯誤解讀robots文件信息，所以建議就算允許抓取所有內(nèi)容，也要建一個空的robots.txt文件，放在根目錄下。
深圳做網(wǎng)站實踐得出結(jié)論，主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎將不再訪問或者不抓取。但要注意，被robots文件禁止抓取的URL還是可能會出現(xiàn)在搜索結(jié)果中，只要有導入鏈接指向這個URL，成都建網(wǎng)站認為搜索引擎就知道這個URL的存在，雖然不會抓取頁面內(nèi)容，但是可能一下幾種形式還是會顯示在搜索結(jié)果中：
1.只顯示URL，沒有標題，描述。谷歌通常這么處理。
2.只顯示開放目錄或者雅虎等重要目錄收錄的標題和描述。
3.導入鏈接的錨文字顯示為標題和描述。百度通常這樣處理。
總之，只要想讓URL完全不出現(xiàn)在搜索結(jié)果中，需要使用頁面上的meta robots標簽。

網(wǎng)頁名稱：robots文件
轉(zhuǎn)載來于：http://muchs.cn/news/167759.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計、網(wǎng)站營銷、品牌網(wǎng)站設(shè)計、網(wǎng)站維護、靜態(tài)網(wǎng)站、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

h5響應式網(wǎng)站建設(shè)