如何屏蔽搜索引擎蜘蛛對(duì)網(wǎng)站的抓??？

要知道在seo優(yōu)化的過(guò)程當(dāng)中，有時(shí)候是需要對(duì)搜索引擎蜘蛛進(jìn)行屏蔽的，就是禁止對(duì)網(wǎng)站的某個(gè)地方進(jìn)行抓取，那么我們應(yīng)該如何屏蔽搜索引擎蜘蛛呢？下面我們一起來(lái)看一看具體的操作方法。網(wǎng)站建設(shè)★網(wǎng)站設(shè)計(jì)★網(wǎng)站制作★網(wǎng)頁(yè)設(shè)計(jì)-800元全包;企業(yè)網(wǎng)絡(luò)推廣☆網(wǎng)站優(yōu)化☆seo☆關(guān)鍵詞排名☆百度快照-2200元全年展示;做網(wǎng)站優(yōu)化排名-網(wǎng)站建設(shè)公司

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到浙江網(wǎng)站設(shè)計(jì)與浙江網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：做網(wǎng)站、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、空間域名、網(wǎng)頁(yè)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋浙江地區(qū)。

百度蜘蛛抓取我們的網(wǎng)站，希望我們的網(wǎng)頁(yè)能被包含在它的搜索引擎中。將來(lái)，當(dāng)用戶搜索時(shí)，它會(huì)給我們帶來(lái)一定量的搜索引擎優(yōu)化流量。當(dāng)然，我們不想讓搜索引擎抓取所有東西。

因此，此時(shí)我們只希望能夠抓取搜索引擎搜索到的內(nèi)容。例如，用戶的隱私和背景信息不希望搜索引擎被捕獲和包含。解決這些問(wèn)題有兩種最佳方法，如下所示:

robots協(xié)議文件屏蔽百度蜘蛛抓取

robots協(xié)議是放在網(wǎng)站根目錄下的協(xié)議文件，可以通過(guò)網(wǎng)址訪問(wèn)，當(dāng)百度蜘蛛抓取我們的網(wǎng)站時(shí)，它會(huì)先訪問(wèn)這個(gè)文件。因?yàn)樗嬖V蜘蛛哪些能抓，哪些不能。

robots協(xié)議文件的設(shè)置比較簡(jiǎn)單，可以通過(guò)User-Agent、Disallow、Allow這三個(gè)參數(shù)進(jìn)行設(shè)置。

User-Agent：對(duì)不同搜索引擎的聲明；

Disallow：不允許抓取的目錄或頁(yè)面；

Allow：被允許抓取的目錄或頁(yè)面通常可以省略或不寫，因?yàn)槿绻悴粚懭魏尾荒茏ト〉臇|西，它就可以被抓取。

下面我們來(lái)看一個(gè)示例，場(chǎng)景是我不希望百度抓取我網(wǎng)站所有的css文件，data目錄、seo-tag.html頁(yè)面

User-Agent:BaidusppiderDisallow:/*.cssDisallow:/data/Disallow:/seo/seo-tag.html

如上所述，user-agent聲明了蜘蛛的名稱，這意味著它針對(duì)的是百度蜘蛛。以下內(nèi)容無(wú)法獲?。uot;/*。css＆quot;，首先/指的是根目錄，這是您的域名。*是代表任何內(nèi)容的通配符。這意味著無(wú)法抓取以.css結(jié)尾的所有文件。這是你自己的兩個(gè)經(jīng)歷。邏輯是一樣的。

通過(guò)403狀態(tài)碼，限制內(nèi)容輸出，屏蔽蜘蛛抓取。

403狀態(tài)代碼是http協(xié)議中的網(wǎng)頁(yè)返回狀態(tài)代碼。當(dāng)搜索引擎遇到403狀態(tài)代碼時(shí)，它知道這些頁(yè)面受權(quán)限限制。我無(wú)法訪問(wèn)它。例如，如果您需要登錄才能查看內(nèi)容，搜索引擎本身將無(wú)法登錄。如果您返回403，他也知道這是權(quán)限設(shè)置頁(yè)面，無(wú)法讀取內(nèi)容。當(dāng)然，它不會(huì)被包括在內(nèi)。

返回403狀態(tài)代碼時(shí)，應(yīng)該有一個(gè)類似于404頁(yè)面的頁(yè)面。提示用戶或蜘蛛執(zhí)行他們想要訪問(wèn)的內(nèi)容。兩者都是不可或缺的。您只有提示頁(yè)面，狀態(tài)代碼返回200，這是百度蜘蛛的大量重復(fù)頁(yè)面。有403個(gè)狀態(tài)代碼但返回不同的內(nèi)容。這也不是很友好。

最后，對(duì)于機(jī)器人協(xié)議，我想補(bǔ)充一點(diǎn)：“現(xiàn)在，搜索引擎將通過(guò)網(wǎng)頁(yè)的布局和布局來(lái)識(shí)別網(wǎng)頁(yè)的用戶友好性。如果阻止css文件和js文件相關(guān)到布局，然后搜索引擎我不知道你的網(wǎng)頁(yè)布局是好是壞。因此不建議阻止這些內(nèi)容來(lái)自蜘蛛。

文章標(biāo)題：如何屏蔽搜索引擎蜘蛛對(duì)網(wǎng)站的抓?。?/a>
文章位置：http://muchs.cn/article46/dghedeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、網(wǎng)站建設(shè)、建站公司、網(wǎng)站策劃、靜態(tài)網(wǎng)站、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)