創(chuàng)新互聯(lián)對搜索引擎蜘蛛爬蟲名稱整理總匯

一般我們的網(wǎng)站能在百度等搜索引擎上搜到，說明該搜索引擎的爬蟲爬到了我們的網(wǎng)站并且被搜索引擎收錄。

全世界有成千上萬的搜索引擎，當(dāng)然不一定只有搜索引擎才有爬蟲蜘蛛。那么每天有這么多蜘蛛訪問我們的網(wǎng)站，肯定對網(wǎng)站的產(chǎn)生一些影響，比如流量的損失、占用服務(wù)器資源等，嚴(yán)重者甚至造成服務(wù)器宕機(jī)。

所我們要認(rèn)識這些蜘蛛，那些對我們是有用的，我們要?dú)g迎。那些是對我們無益的，我們就把它屏蔽掉。

通過 robots.txt 可以屏蔽無用的蜘蛛，參考我的這篇文章：Robots協(xié)議探究：如何好好利用爬蟲

下面整理了一些搜索引擎蜘蛛：

1、BaiduSpider（百度蜘蛛）

常見的百度蜘蛛有：Baiduspider 和 Baiduspider-image（抓取圖片）。國內(nèi)網(wǎng)站大多數(shù)流量都來自百度，所以推薦放行。

百度還有其它幾個蜘蛛：

Baiduspider-video（抓取視頻）

Baiduspider-news（抓取新聞）

Baiduspider-mobile（抓取wap）

百度蜘蛛介紹：http://www.baidu.com/search/spider.html

2、Googlebot（谷歌蜘蛛）

常見的谷歌蜘蛛有：Googlebot，還一個 Googlebot-Mobile ，不是很常見，看名字是應(yīng)該是抓取 wap 頁面的。世界第一大搜索引擎，推薦放行。

谷歌蜘蛛鏈接：http://www.google.com/bot.html

3、360Spider（360蜘蛛）

一個十分“勤奮抓爬”的蜘蛛。

360蜘蛛IP：https://www.so.com/help/spider_ip.html

4、Sogou web spider（搜狗蜘蛛）

搜狗公司還有其它幾個蜘蛛：Sogou News Spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，德順在日志中只發(fā)現(xiàn)了常見的Sogou web spider。

參考百度的robots文件，搜狗蜘蛛名稱可以用 Sogou 概括，但有沒有用就不知道了。

搜狗蜘蛛爬蟲：http://www.sogou.com/docs/help/webmasters.htm

5、Bingbot（必應(yīng)蜘蛛）

必應(yīng)是微軟的搜索引擎，微軟的IE瀏覽器和Edge瀏覽器會默認(rèn)使用該搜索引擎，而且占有率也還可以，不建議屏蔽。

必應(yīng)蜘蛛爬蟲：http://www.bing.com/bingbot.htm

6、Sosospider（SOSO蜘蛛）

騰訊不玩了，交給搜狗公司了。

soso蜘蛛爬蟲：http://help.soso.com/webspider.htm

7、Yahoo! Slurp China（雅虎中國）或 Yahoo! Slurp（雅虎英文）

雅虎蜘蛛爬蟲：

雅虎中國：http://misc.yahoo.com.cn/help.html

雅虎英文：http://help.yahoo.com/help/us/ysearch/slurp

8、MSNBot，MSNot-media（MSN蜘蛛）

MSNBOT應(yīng)該是 bing 搜索的蜘蛛，MSN和bing是一家的，可以只保留 Bingbot。

MSN蜘蛛爬蟲：http://search.msn.com/msnbot.htm

9、YisouSpider（一搜蜘蛛/神馬搜索）

神馬搜索是UC和阿里2013年已經(jīng)成立合資公司推出的移動搜索引擎。

該蜘蛛抓取頻率還是很高的，很多人并不看好，不過如果屏蔽的話，會損失 UC瀏覽器 的流量來源。自己斟酌吧！

10、還有一些蜘蛛，不會給網(wǎng)站帶來流量，還會占用資源，建議屏蔽之。

YoudaoBot（有道蜘蛛）：網(wǎng)易有道的蜘蛛，并不會帶來流量。

JikeSpider（即刻蜘蛛）：“即刻搜索”是由人民搜索網(wǎng)絡(luò)股份公司于2011年6月20日推出的通用搜索引擎平臺，建議屏蔽。

即刻蜘蛛：http://shoulu.jike.com/spider.html

EasouSpider（宜搜蜘蛛）：宜搜是主要針對手機(jī)端的搜索引擎，非常傻帽的一個爬蟲，建議屏蔽之。

YYSpider：據(jù)說是個人寫的蜘蛛程序，指向的是 http://www.yunyun.com/spider.html，yunyun.com  目前不能訪問，建議屏蔽之。

ToutiaoSpider（頭條號）：今日頭條的頭條號蜘蛛，不能帶來流量，屏蔽好啦。

來源：http //web toutiao com/media_cooperation

MJ12bot：英國的一個搜索引擎，官方解釋為：成千上萬的企業(yè)使用13種語言和60多個國家來繪制互聯(lián)網(wǎng)地圖，獨(dú)立于基于消費(fèi)者的搜索引擎。

來源：http://mj12bot.com/

YandexBot：國外的一個網(wǎng)站分析平臺，建議屏蔽。

詳細(xì)介紹：https://webmaster.yandex.com

來源：http://yandex.com/bots

Rogerbot：Moz 網(wǎng)站的機(jī)器人。與 Moz 的官方機(jī)器人 DotBot 不同，Rogerbot 似乎不再是一個合法的機(jī)器人。

DotBot：嗯，看到這你應(yīng)該懂了。

來源：http://www.opensiteexplorer.org/dotbot

exabot：Exalead或Dassault Systemes網(wǎng)站的機(jī)器人。

ia_archiver（Alexa蜘蛛）：Alexa 的網(wǎng)站和網(wǎng)站審計(jì)爬蟲。

Teoma：是美國 Ask Jeeves 搜索引擎的蜘蛛，在美國占 5% 的搜索份額。

gigabot：搜索到的是一個 3D 打印公司，沒什么亂用，屏蔽即可。

DOCOMO Sprider：日本 NTT DoCoMo 旗下的搜索引擎蜘蛛，是垃圾搜索引擎爬蟲，有看到你的日志里面有這只蜘蛛，直接毫不猶豫的禁掉。

AhrefsBot：國外的一個網(wǎng)站監(jiān)控工具，要不要屏蔽

來源：http://ahrefs.com/robot/

SemrushBot：嗯，應(yīng)該也是一個網(wǎng)站分析工具。

來源：http://www.semrush.com/bot.html

以上是創(chuàng)新互聯(lián)建站整理的一些已知的網(wǎng)站蜘蛛，應(yīng)該還有沒整理到的。

常用的搜索引擎就那么幾個，只要在 robots.txt 文件里把常用的搜索引擎蜘蛛放進(jìn)來就行，其它的可以統(tǒng)統(tǒng)屏蔽。

網(wǎng)站題目：創(chuàng)新互聯(lián)對搜索引擎蜘蛛爬蟲名稱整理總匯
URL鏈接：http://muchs.cn/news11/322261.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、建站公司、搜索引擎優(yōu)化、微信小程序、靜態(tài)網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)