判斷搜索引擎真假蜘蛛訪問

2023-06-11    分類： 網(wǎng)站建設(shè)

主流搜索引擎蜘蛛抓取網(wǎng)站，都會自帶UA特征，比如百度蜘蛛UA（Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。

在網(wǎng)站的訪問日志中也會相應(yīng)記錄，但UA是可以偽造的，目前越來越多偽造UA的掃描器或采集器都在偽造搜索引擎UA來迷惑管理員，造成無法判斷是否是正規(guī)搜索引擎蜘蛛。

我們在不知道蜘蛛IP段的情況下，可以通過運(yùn)行命令：nslookup 來判斷真假蜘蛛。

首先以百度蜘蛛為例，在訪問日志中找到帶有UA記錄的IP，如：220.181.108.*  在運(yùn)行cmd命令輸入 nslookup 220.181.108.* ，運(yùn)行后結(jié)果中帶有： baiduspider-220-181-108-*.crawl.baidu.com 字樣，說明是真百度蜘蛛，反之如果沒有則為假。

網(wǎng)站標(biāo)題：判斷搜索引擎真假蜘蛛訪問
網(wǎng)站地址：http://www.muchs.cn/news42/264442.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、移動網(wǎng)站建設(shè)、全網(wǎng)營銷推廣、網(wǎng)站營銷、外貿(mào)建站、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

網(wǎng)站托管運(yùn)營