怎么禁止網(wǎng)站內(nèi)容被搜索引擎收錄的幾種方法-創(chuàng)新互聯(lián)

這篇文章給大家分享的是有關(guān)怎么禁止網(wǎng)站內(nèi)容被搜索引擎收錄的幾種方法的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

創(chuàng)新互聯(lián)于2013年創(chuàng)立，先為浦城等服務(wù)建站，浦城等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為浦城企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。

通常做網(wǎng)站的目標(biāo)就是讓搜索引擎收錄，擴(kuò)大推廣面，但是如果你的網(wǎng)站涉及個(gè)人隱私或者機(jī)密性非公開(kāi)的網(wǎng)頁(yè)而需要禁止搜索引擎收錄抓取的話，該如何操作呢？比如淘寶網(wǎng)就是禁止搜索引擎收錄的一個(gè)例子，本文將教你幾種做法來(lái)實(shí)現(xiàn)屏蔽或禁止搜索引擎收錄抓取網(wǎng)站的內(nèi)容。

搜索引擎蜘蛛不斷爬行互聯(lián)網(wǎng)，如果我們網(wǎng)站沒(méi)有做出禁止搜索引擎收錄的操作，很容易就會(huì)被搜索引擎收錄。那么下面介紹一下怎么樣禁止搜索引擎收錄網(wǎng)站內(nèi)容。

怎么禁止網(wǎng)站內(nèi)容被搜索引擎收錄的幾種方法

第一種、robots.txt方法

搜索引擎默認(rèn)的遵守robots.txt協(xié)議(不排除某些耍流氓的引擎)，創(chuàng)建robots.txt文本文件放至網(wǎng)站根目錄下，編輯代碼如下:

User-agent: *
Disallow: /

通過(guò)以上代碼，即可告訴搜索引擎不要抓取采取收錄本網(wǎng)站，注意慎用如上代碼：這將禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分。

如果只禁止百度搜索引擎收錄抓取網(wǎng)頁(yè)

1、編輯robots.txt文件，設(shè)計(jì)標(biāo)記為:

User-agent: Baiduspider
Disallow: /

以上robots文件將實(shí)現(xiàn)禁止所有來(lái)自百度的抓取。

這里說(shuō)一下百度的user-agent，Baiduspider的user-agent是什么？

百度各個(gè)產(chǎn)品使用不同的user-agent：

  • 產(chǎn)品名稱 對(duì)應(yīng)user-agent

  • 無(wú)線搜索 Baiduspider

  • 圖片搜索 Baiduspider-image

  • 視頻搜索 Baiduspider-video

  • 新聞搜索 Baiduspider-news

  • 百度搜藏 Baiduspider-favo

  • 百度聯(lián)盟 Baiduspider-cpro

  • 商務(wù)搜索 Baiduspider-ads

  • 網(wǎng)頁(yè)以及其他搜索 Baiduspider

你可以根據(jù)各產(chǎn)品不同的user-agent設(shè)置不同的抓取規(guī)則，以下robots實(shí)現(xiàn)禁止所有來(lái)自百度的抓取但允許圖片搜索抓取/image/目錄：

User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-image
Allow: /image/

請(qǐng)注意：Baiduspider-cpro和Baiduspider-ads抓取的網(wǎng)頁(yè)并不會(huì)建入索引，只是執(zhí)行與客戶約定的操作，所以不遵守robots協(xié)議，這個(gè)就需要和百度的人聯(lián)系才能解決了。

如何只禁止Google搜索引擎收錄抓取網(wǎng)頁(yè)，方法如下：

編輯robots.txt文件，設(shè)計(jì)標(biāo)記為:

User-agent: googlebot
Disallow: /

第二種、網(wǎng)頁(yè)代碼方法

在網(wǎng)站首頁(yè)代碼<head>與</head>之間，加入<meta name="robots" content="noarchive">代碼，此標(biāo)記禁止搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁(yè)快照。

怎么禁止網(wǎng)站內(nèi)容被搜索引擎收錄的幾種方法

在網(wǎng)站首頁(yè)代碼<head>與</head>之間，加入<meta name="Baiduspider" content="noarchive">即可禁止百度搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁(yè)快照。

在網(wǎng)站首頁(yè)代碼<head>與</head>之間，加入<meta name="googlebot" content="noarchive">即可禁止谷歌搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁(yè)快照。

另外當(dāng)我們的需求很怪異的時(shí)候，比如下面這幾種情況:

1. 網(wǎng)站已經(jīng)加了robots.txt，還能在百度搜索出來(lái)？

因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫(kù)的更新需要時(shí)間。雖然Baiduspider已經(jīng)停止訪問(wèn)您網(wǎng)站上的網(wǎng)頁(yè)，但百度搜索引擎數(shù)據(jù)庫(kù)中已經(jīng)建立的網(wǎng)頁(yè)索引信息，可能需要數(shù)月時(shí)間才會(huì)清除。另外也請(qǐng)檢查您的robots配置是否正確。如果您的拒絕被收錄需求非常急迫，也可以通過(guò)投訴平臺(tái)反饋請(qǐng)求處理。

2. 希望網(wǎng)站內(nèi)容被百度索引但不被保存快照，我該怎么做？

Baiduspider遵守互聯(lián)網(wǎng)meta robots協(xié)議。您可以利用網(wǎng)頁(yè)meta的設(shè)置，使百度顯示只對(duì)該網(wǎng)頁(yè)建索引，但并不在搜索結(jié)果中顯示該網(wǎng)頁(yè)的快照。和robots的更新一樣，因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫(kù)的更新需要時(shí)間，所以雖然您已經(jīng)在網(wǎng)頁(yè)中通過(guò)meta禁止了百度在搜索結(jié)果中顯示該網(wǎng)頁(yè)的快照，但百度搜索引擎數(shù)據(jù)庫(kù)中如果已經(jīng)建立了網(wǎng)頁(yè)索引信息，可能需要二至四周才會(huì)在線上生效。

3. 希望被百度索引，但是不保存網(wǎng)站快照，如下代碼解決：

<meta name="Baiduspider" content="noarchive">

4. 如果要禁止所有的搜索引擎保存你網(wǎng)頁(yè)的快照，那么代碼就是下面的：

<meta name="robots" content="noarchive">

下面列出一些常用的代碼組合：

  • <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">：可以抓取本頁(yè)，而且可以順著本頁(yè)繼續(xù)索引別的鏈接

  • <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">：不許抓取本頁(yè)，但是可以順著本頁(yè)抓取索引別的鏈接

  • <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">：可以抓取本頁(yè)，但是不許順著本頁(yè)抓取索引別的鏈接

  • <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">：不許抓取本頁(yè)，也不許順著本頁(yè)抓取索引別的鏈接

感謝各位的閱讀！關(guān)于“怎么禁止網(wǎng)站內(nèi)容被搜索引擎收錄的幾種方法”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

網(wǎng)站名稱：怎么禁止網(wǎng)站內(nèi)容被搜索引擎收錄的幾種方法-創(chuàng)新互聯(lián)
分享URL：http://www.muchs.cn/article38/hgcsp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、網(wǎng)站導(dǎo)航、外貿(mào)建站、網(wǎng)站建設(shè)、用戶體驗(yàn)、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

h5響應(yīng)式網(wǎng)站建設(shè)