蜘蛛耗盡服務(wù)器資源分析

當(dāng)我們成都網(wǎng)站建設(shè)的網(wǎng)站剛上線后，都希望網(wǎng)站被盡快收錄，于是會(huì)去吸引蜘蛛的到來(lái)，蜘蛛到來(lái)的頻率過(guò)高有時(shí)候會(huì)導(dǎo)致iis資源耗盡，網(wǎng)站中時(shí)常數(shù)出現(xiàn)service unavoidable的提示，這個(gè)詞的出現(xiàn)可以直接表現(xiàn)為訪問(wèn)量很小。

是蜘蛛的到來(lái)引起我們網(wǎng)站資源的缺乏，是蜘蛛耗盡服務(wù)器資源的，所以我們的解決辦法就針對(duì)蜘蛛進(jìn)行。利用robots.txt中的disallow屏蔽部分沒(méi)有實(shí)際意義的內(nèi)容。

格式如下：

user-agent:*
disallow:/search.html
disallow:/index.php?
disallow:/tempweb/

說(shuō)明：

user-agent:*： *代表允許所有的搜索引擎來(lái)抓取數(shù)據(jù)。
disallow:/search.html：不允許收錄/search.html這個(gè)文件的數(shù)據(jù)。
disallow:/index.php?：不允許收錄以/index.php?為前綴的鏈接。
disallow:/tempweb/：不允許收錄/tempweb/里所有的文件，但可以收錄如：/tempwebtaim.html的鏈接。

本文標(biāo)題：蜘蛛耗盡服務(wù)器資源分析
瀏覽地址：http://muchs.cn/news/19142.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、網(wǎng)站維護(hù)、自適應(yīng)網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)