淺談搜索引擎抓取原理

搜索引擎在爬行網(wǎng)站時(shí)，一般分為兩種策略：深度抓取和廣度抓取。這兩種抓取應(yīng)該聽過的人特別多，那是否還有第三種呢?其實(shí)吸引蜘蛛也算一種抓取策略，因?yàn)樗淖兞酥┲氲呐佬幸?guī)律。今天就來主要解釋一下三種抓取的方式。

深度抓取，比如容易理解，當(dāng)搜索引擎蜘蛛到了一個(gè)網(wǎng)站時(shí)。它會(huì)根據(jù)網(wǎng)站中第一個(gè)鏈接，之后順著第一個(gè)鏈接一路爬行，直至抓取完成后。這時(shí)，蜘蛛會(huì)返回搜索引擎抓取的第一個(gè)鏈接，接著該鏈接，抓取網(wǎng)站第二個(gè)鏈接，之后順著第二個(gè)鏈接一路爬行，直至抓取完成。以此反復(fù)抓取，完成深度抓取。

而廣度抓取，則是搜索引擎在發(fā)現(xiàn)一個(gè)頁面時(shí)，首先，將該頁面第一層所有鏈接均索引到搜索引擎數(shù)據(jù)庫中。然后，將第二部分鏈接索引，之后為第三個(gè)頁面，以此反復(fù)。

當(dāng)然，無論深度或廣度抓取，搜索引擎都不會(huì)以此種方式將整個(gè)網(wǎng)站所有的頁面鏈接全部抓取，除非網(wǎng)站鏈接極少。那一些鏈接藏的比較深，或者頁面層級(jí)較深，這些頁面如何讓搜索引擎抓取呢?那就要說說第三種抓取策略，吸引蜘蛛。

在通過外鏈或者友情鏈接等規(guī)劃時(shí)，在其它網(wǎng)站中存在自身網(wǎng)站鏈接，吸引蜘蛛通過外鏈或友情鏈接中的地址爬行網(wǎng)站中，為一些隱藏較深的頁面提供索引。

當(dāng)然，大概的搜索引擎抓取策略分為以上三種，還有一些其余情況，比如，頁面點(diǎn)擊率，或者頁面更新度等情況，同樣會(huì)影響到抓取情況。搜索引擎抓取策略也不會(huì)一成不變，我們要做的，就是做好網(wǎng)站自己的優(yōu)化，盡量使用樹狀型物理結(jié)構(gòu)，保證網(wǎng)站的抓取索引。

文章來源：耐特康賽(http://www.netconcepts.cn/)，版權(quán)歸原作者所有，特此聲明。

文章名稱：淺談搜索引擎抓取原理
轉(zhuǎn)載注明：http://muchs.cn/news3/226453.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、做網(wǎng)站、品牌網(wǎng)站制作、自適應(yīng)網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)