python分布式多爬蟲系統(tǒng)怎么弄-創(chuàng)新互聯(lián)

這篇文章將為大家詳細(xì)講解有關(guān)python分布式多爬蟲系統(tǒng)怎么弄，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)青原免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了數(shù)千家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

在爬蟲的開發(fā)過程中，有些業(yè)務(wù)場景需要同時抓取幾百個甚至上千個網(wǎng)站，此時就需要一個支持多爬蟲的框架。以下將通過解釋兩張圖來說明架構(gòu)的設(shè)計思想。

1、框架主要分成兩部分：下載器Downloader和解析器Analyzer。Downloader負(fù)責(zé)抓取網(wǎng)頁，Analyzer負(fù)責(zé)解析網(wǎng)頁并入庫。兩者之間依靠消息隊列MQ進(jìn)行通信，兩者可以分布在不同機(jī)器，也可分布在同一臺機(jī)器。兩者的數(shù)量也是靈活可變的，例如可能有五臺機(jī)在做下載、兩臺機(jī)在做解析，這都是可以根據(jù)爬蟲系統(tǒng)的狀態(tài)及時調(diào)整的。

2、從上圖可以看到MQ有兩個管道：HTML/JS文件和待爬種子。Downloader從待爬種子里拿到一條種子，根據(jù)種子信息調(diào)用相應(yīng)的抓取模塊進(jìn)行網(wǎng)頁抓取，然后存入HTML/JS文件這個通道；Analyzer從HTML/JS文件里拿到一條網(wǎng)頁內(nèi)容，根據(jù)里面的信息調(diào)用相應(yīng)的解析模塊進(jìn)行解析，將目標(biāo)字段入庫，需要的話還會解析出新的待爬種子加入MQ。

3、可以看到Downloader是包含User-Agent池、Proxy池、Cookie池的，可以適應(yīng)復(fù)雜網(wǎng)站的抓取。

4、模塊的調(diào)用使用工廠模式。

這張圖是上一張圖的另一種表述。

Htmls隊列和Seed是隊列可以獨立分開，甚至數(shù)量也可以多開，之間沒有聯(lián)系。完全可以靈活地根據(jù)爬蟲狀態(tài)和硬件環(huán)境作調(diào)整。另外8G的內(nèi)容可以讓Redis作為Seeds隊列存放5~8千萬個種子。

分布式爬蟲非常關(guān)鍵的一點：去重?？梢钥吹蕉鄠€解析器Analyzer共用一個去重隊列，才能夠保證數(shù)據(jù)的統(tǒng)一不重復(fù)。去重隊列可以放在一臺機(jī)上?；赗edis實現(xiàn)了Bloomfilter算法，理論上8G的內(nèi)存可以滿足30億條URL的去重，如果允許漏失概率再大點的話能去重更多。

關(guān)于python分布式多爬蟲系統(tǒng)怎么弄就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

文章標(biāo)題：python分布式多爬蟲系統(tǒng)怎么弄-創(chuàng)新互聯(lián)
本文URL：http://www.muchs.cn/article14/shoge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、微信小程序、品牌網(wǎng)站設(shè)計、響應(yīng)式網(wǎng)站、網(wǎng)站改版、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)