搜索引擎蜘蛛是如何對(duì)翻頁(yè)式網(wǎng)頁(yè)進(jìn)行抓取的

Spider系統(tǒng)的目標(biāo)就是發(fā)現(xiàn)并抓取互聯(lián)網(wǎng)中一切有價(jià)值的網(wǎng)頁(yè)，百度官方也明確表示蜘蛛只可以抓取到盡可能多的有價(jià)值資源并保持系統(tǒng)及實(shí)際環(huán)境中頁(yè)面的一致性同時(shí)不給網(wǎng)站體驗(yàn)造成壓力，也就是說(shuō)蜘蛛不會(huì)抓取所有網(wǎng)站的所有頁(yè)面，對(duì)此蜘蛛有很多的抓取策略來(lái)盡量快而全的發(fā)現(xiàn)資源鏈接，提高抓取效率。只有這樣蜘蛛才能盡量滿足絕大部分網(wǎng)站，這也是為什么我們要做好網(wǎng)站的鏈接結(jié)構(gòu)，接下來(lái)筆者就只針對(duì)一種蜘蛛對(duì)翻頁(yè)式網(wǎng)頁(yè)的抓住機(jī)制來(lái)發(fā)表一點(diǎn)看法。

為什么需要這個(gè)抓取機(jī)制

當(dāng)前大多數(shù)網(wǎng)站都用翻頁(yè)的形式來(lái)有序分布網(wǎng)站資源，當(dāng)有新文章增加時(shí)，老資源往后推移到翻頁(yè)系列中。對(duì)蜘蛛來(lái)說(shuō)，這種特定類(lèi)型的索引頁(yè)是爬行的有效渠道，但是蜘蛛爬行頻率和網(wǎng)站文章更新頻率不盡相同，文章鏈接很有可能就被推到翻頁(yè)條中，這樣蜘蛛不可能每天從第1個(gè)翻頁(yè)條爬到第80個(gè)，然后一個(gè)文章一個(gè)文章的抓取，到數(shù)據(jù)庫(kù)對(duì)比，這樣太浪費(fèi)蜘蛛時(shí)間，也浪費(fèi)你網(wǎng)站的收錄時(shí)間，所以蜘蛛需要對(duì)這種特殊類(lèi)型的翻頁(yè)式網(wǎng)頁(yè)來(lái)一個(gè)額外的抓取機(jī)制，從而保證收錄資源的完全。

如何判斷是否是有序翻頁(yè)式頁(yè)面

判斷文章是否按發(fā)布時(shí)間有序排布是這類(lèi)頁(yè)面的一個(gè)必要條件，下面會(huì)說(shuō)到。那么如何判斷資源是否按發(fā)布時(shí)間有序排布呢有些頁(yè)面中每個(gè)文章鏈接后面跟隨著對(duì)應(yīng)的發(fā)布時(shí)間，通過(guò)文章鏈接對(duì)應(yīng)的時(shí)間集合，判斷時(shí)間集合是否按大到小或小到大排序，如果是的話，則說(shuō)明網(wǎng)頁(yè)中的資源是按發(fā)布時(shí)間有序排布，反之亦然。就算沒(méi)寫(xiě)發(fā)布時(shí)間，蜘蛛寫(xiě)可以根據(jù)文章本身的實(shí)際發(fā)布時(shí)間進(jìn)行判斷。

該抓取機(jī)制原理

針對(duì)這種翻頁(yè)式頁(yè)面，蜘蛛主要是通過(guò)記錄每次抓取網(wǎng)頁(yè)發(fā)現(xiàn)的文章鏈接，然后將此次發(fā)現(xiàn)的文章鏈接與歷史上發(fā)現(xiàn)的鏈接作比較，如果有交集，說(shuō)明該次抓取發(fā)現(xiàn)了所有的新增文章，可以停止對(duì)后面翻頁(yè)條的抓取了;否則，說(shuō)明該次抓取并未發(fā)現(xiàn)所有的新增文章，需要繼續(xù)抓取下一頁(yè)甚至下幾頁(yè)來(lái)發(fā)現(xiàn)所有的新增文章。聽(tīng)起來(lái)可能有點(diǎn)不大懂，木木seo來(lái)舉個(gè)很簡(jiǎn)單的例子，比如在網(wǎng)站翻頁(yè)目錄新添加了29篇文章，也就是說(shuō)上次最新一篇是第30篇，而蜘蛛是一次性抓取10篇文章鏈接，這樣蜘蛛第一次進(jìn)行抓取時(shí)抓了10篇，與上次并沒(méi)有交集，繼續(xù)抓取，第二次又抓10篇，也就是一共抓20篇了，還是與上一次沒(méi)有交集，然后繼續(xù)抓取，這一次就抓到了第30篇，也就是和上次的有交集了，這就說(shuō)明蜘蛛已經(jīng)抓取了從上次抓取到這次網(wǎng)站更新的全部29篇文章。

當(dāng)前題目：搜索引擎蜘蛛是如何對(duì)翻頁(yè)式網(wǎng)頁(yè)進(jìn)行抓取的
網(wǎng)站URL：http://muchs.cn/news45/139295.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、用戶體驗(yàn)、網(wǎng)站改版、微信小程序、定制網(wǎng)站、關(guān)鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)