scrapy在python分布式爬蟲的使用范圍-創(chuàng)新互聯(lián)

小編給大家分享一下scrapy在python分布式爬蟲的使用范圍，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

長豐網站建設公司成都創(chuàng)新互聯(lián)公司,長豐網站設計制作，有大型網站制作公司豐富經驗。已為長豐數(shù)千家提供企業(yè)網站建設服務。企業(yè)網站搭建\外貿網站建設要多少錢，請找那個售后服務好的長豐做網站的公司定做！

1.scrapy框架是否可以自己實現(xiàn)分布式？

不可以。原因有二。

其一：因為多臺機器上部署的scrapy會各自擁有各自的調度器，這樣就使得多臺機器無法分配start_urls列表中的url。（多臺機器無法共享同一個調度器）

其二：多臺機器爬取到的數(shù)據無法通過同一個管道對數(shù)據進行統(tǒng)一的數(shù)據持久出存儲。（多臺機器無法共享同一個管道）

2.基于scrapy-redis組件的分布式爬蟲

scrapy-redis組件中為我們封裝好了可以被多臺機器共享的調度器和管道，我們可以直接使用并實現(xiàn)分布式數(shù)據爬取。

實現(xiàn)方式：

• 基于該組件的RedisSpider類

• 基于該組件的RedisCrawlSpider類

3.分布式實現(xiàn)流程：上述兩種不同方式的分布式實現(xiàn)流程是統(tǒng)一的

3.1 下載scrapy-redis組件：

pip install scrapy-redis

3.2 redis配置文件的配置：

注釋該行：bind 127.0.0.1，表示可以讓其他ip訪問redis

將yes該為no：protected-mode no，表示可以讓其他ip操作redis

3.3 修改爬蟲文件中的相關代碼：

將爬蟲類的父類修改成基于RedisSpider或者RedisCrawlSpider。注意：如果原始爬蟲文件是基于 Spider的，則應該將父類修改成RedisSpider，如果原始爬蟲文件是基于CrawlSpider的，則應該將其父類修改成RedisCrawlSpider。

注釋或者刪除start_urls列表，切加入redis_key屬性，屬性值為scrpy-redis組件中調度器隊列的名稱

3.4 在配置文件中進行相關配置，開啟使用scrapy-redis組件中封裝好的管道

看完本篇文章我們知道，因為兩點的限制，scrapy框架是不能在python分布式爬蟲獨立運用的，但是我們可以配合其他的一些函數(shù)來運行，這點小伙伴們可要記住啦~

以上是“scrapy在python分布式爬蟲的使用范圍”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

網頁名稱：scrapy在python分布式爬蟲的使用范圍-創(chuàng)新互聯(lián)
文章URL：http://muchs.cn/article0/dsecoo.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供面包屑導航、微信公眾號、App開發(fā)、網站設計公司、響應式網站、定制開發(fā)

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)