創(chuàng)新互聯www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商,新人活動買多久送多久,劃算不套路!
創(chuàng)新互聯建站憑借專業(yè)的設計團隊扎實的技術支持、優(yōu)質高效的服務意識和豐厚的資源優(yōu)勢,提供專業(yè)的網站策劃、做網站、成都網站制作、網站優(yōu)化、軟件開發(fā)、網站改版等服務,在成都10多年的網站建設設計經驗,為成都千余家中小型企業(yè)策劃設計了網站。怎么辨別搜索引擎的爬蟲?相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。
網站經常會被各種爬蟲光顧,有的是搜索引擎爬蟲,有的不是,通常情況下這些爬蟲都有UserAgent,而我們知道UserAgent是可以偽裝的,UserAgent的本質是Http請求頭中的一個選項設置,通過編程的方式可以給請求設置任意的UserAgent。
所以通過UserAgent判斷請求的發(fā)起者是否是搜索引擎爬蟲(蜘蛛)的方式是不靠譜的,更靠譜的方法是通過請求者的ip對應的host主機名是否是搜索引擎自己家的host的方式來判斷。
要獲得ip的host,在windows下可以通過nslookup命令,在linux下可以通過host命令來獲得,例如:
這里我在windows下執(zhí)行了nslookup ip 的命令,從上圖可以看到這個ip的主機名是crawl-66-249-64-119.googlebot.com。 這說明這個ip是一個google爬蟲,google爬蟲的域名都是 xxx.googlebot.com.
我們也可以通過python程序的方式來獲得ip的host信息,代碼如下:
import socket def getHost(ip): try: result=socket.gethostbyaddr(ip) if result: return result[0], None except socket.herror,e: return None, e.message
上述代碼使用了socket模塊的gethostbyaddr的方法獲得ip地址的主機名。
常用蜘蛛的域名都和搜索引擎官網的域名相關,例如:
百度的蜘蛛通常是baidu.com或者baidu.jp的子域名
google爬蟲通常是googlebot.com的子域名
微軟bing搜索引擎爬蟲是search.msn.com的子域名
搜狗蜘蛛是crawl.sogou.com的子域名
基于以上原理,可以通過一個工具頁面提供判斷ip是否是真實搜索引擎的工具頁面,該頁面上提供了網頁判斷的工具和常見的google和bing的搜索引擎爬蟲的ip地址。
附帶常見搜索引擎蜘蛛的IP段:
蜘蛛名稱 IP地址
Baiduspider 202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.*
YodaoBot 202.108.7.215 202.108.7.220 202.108.7.221
Sogou web spider 219.234.81.* 220.181.61.*
Googlebot 203.208.60.*
Yahoo! Slurp 202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.*
Yahoo ContentMatch Crawler 119.42.226.* 119.42.230.*
Sogou-Test-Spider 220.181.19.103 220.181.26.122
Twiceler 38.99.44.104 64.34.251.9
Yahoo! Slurp China 202.160.178.*
Sosospider 124.115.0.*
CollapsarWEB qihoobot 221.194.136.18
NaverBot 202.179.180.45
Sogou Orion spider 220.181.19.106 220.181.19.74
Sogou head spider 220.181.19.107
SurveyBot 216.145.5.42 64.246.165.160
Yanga WorldSearch Bot v 77.91.224.19 91.205.124.19
baiduspider-mobile-gate 220.181.5.34 61.135.166.31
discobot 208.96.54.70
ia_archiver 209.234.171.42
msnbot 65.55.104.209 65.55.209.86 65.55.209.96
sogou in spider 220.181.19.216
ps:https協議網頁能夠被搜索引擎收錄嗎
百度現在只能收錄少部分的https,大部分的https網頁無法收錄。
不過我查詢了google資料,Google能夠比較好地收錄https協議的網站。
所以如果你的網站是中文的,而且比較關注搜索引擎自然排名流量這塊,建議盡量不要將所有內容都放到https中去加密去。
可考慮的方式是:
1、對于需要加密傳遞的數據,使用https,比如用戶登錄以及用戶登錄后的信息;
2、對于普通的新聞、圖片,建議使用http協議來傳輸;
3、網站首頁建議使用http協議的形式。
看完上述內容,你們掌握怎么辨別搜索引擎的爬蟲的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注創(chuàng)新互聯-成都網站建設公司行業(yè)資訊頻道,感謝各位的閱讀!
網站欄目:怎么辨別搜索引擎的爬蟲-創(chuàng)新互聯
URL鏈接:http://www.muchs.cn/article28/dpcgjp.html
成都網站建設公司_創(chuàng)新互聯,為您提供ChatGPT、關鍵詞優(yōu)化、App開發(fā)、網站收錄、響應式網站、網站營銷
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯