怎么快速掌握scrapy爬蟲框架

這篇文章主要介紹“怎么快速掌握scrapy爬蟲框架”，在日常操作中，相信很多人在怎么快速掌握scrapy爬蟲框架問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么快速掌握scrapy爬蟲框架”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站、館陶網(wǎng)絡(luò)推廣、成都小程序開發(fā)、館陶網(wǎng)絡(luò)營銷、館陶企業(yè)策劃、館陶品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供館陶建站搭建服務(wù)，24小時(shí)服務(wù)熱線：13518219792，官方網(wǎng)址：muchs.cn

1. scrapy簡介

scrapy是基于事件驅(qū)動(dòng)的Twisted框架下用純python寫的爬蟲框架。很早之前就開始用scrapy來爬取網(wǎng)絡(luò)上的圖片和文本信息，一直沒有把細(xì)節(jié)記錄下來。這段時(shí)間，因?yàn)楣ぷ餍枰种厥皊crapy爬蟲，本文和大家分享下，包你一用就會(huì)， 歡迎交流。

1.1 scrapy框架

scrapy框架包括5個(gè)主要的組件和2個(gè)中間件Hook。

  •  ENGIINE：整個(gè)框架的控制中心， 控制整個(gè)爬蟲的流程。根據(jù)不同的條件添加不同的事件（就是用的Twisted）

  •  SCHEDULER：事件調(diào)度器

  •  DOWNLOADER：接收爬蟲請求，從網(wǎng)上下載數(shù)據(jù)

  •  SPIDERS：發(fā)起爬蟲請求，并解析DOWNLOADER返回的網(wǎng)頁內(nèi)容，同時(shí)和數(shù)據(jù)持久化進(jìn)行交互,需要開發(fā)者編寫

  •  ITEM PIPELINES：接收SPIDERS解析的結(jié)構(gòu)化的字段，進(jìn)行持久化等操作，需要開發(fā)者編寫

  •  MIDDLEWARES：ENGIINE和SPIDERS, ENGIINE和DOWNLOADER之間一些額外的操作，hook的方式提供給開發(fā)者

從上可知，我們只要實(shí)現(xiàn)SPIDERS（要爬什么網(wǎng)站，怎么解析）和ITEM PIPELINES（如何處理解析后的內(nèi)容）就可以了。其他的都是有框架幫你完成了。

怎么快速掌握scrapy爬蟲框架

1.2 scrapy數(shù)據(jù)流

我們再詳細(xì)看下組件之間的數(shù)據(jù)流，會(huì)更清楚框架的內(nèi)部運(yùn)作。

怎么快速掌握scrapy爬蟲框架

  1. 鴻蒙官方戰(zhàn)略合作共建——HarmonyOS技術(shù)社區(qū)

  2.   SPIDERS發(fā)爬蟲請求給ENGIINE， 告訴它任務(wù)來了

  3.   ENGIINE將請求添加到SCHEDULER調(diào)度隊(duì)列里, 說任務(wù)就交給你了，給我安排好

  4.   SCHEDULER看看手里的爬取請求很多，挑一個(gè)給ENGIINE， 說大哥幫忙轉(zhuǎn)發(fā)給下載DOWNLOADER

  5.   ENGIINE：好的， DOWNLOADER你的任務(wù)來了

  6.   DOWNLOADER：開始下載了，下載好了，任務(wù)結(jié)果 交給ENGIINE

  7.   ENGIINE將結(jié)果給SPIDERS， 你的一個(gè)請求下載好了，快去解析吧

  8.   SPIDERS：好的，解析產(chǎn)生了結(jié)果字段。又給SPIDERS轉(zhuǎn)發(fā)給ITEM PIPELINES

  9.   ITEM PIPELINES: 接收到字段內(nèi)容，保存起來。

第1步到第8步，一個(gè)請求終于完成了。是不是覺得很多余？ENGIINE夾在中間當(dāng)傳話筒，能不能直接跳過？可以考慮跳過了會(huì)怎么樣。

這里分析一下

  • SCHEDULER的作用：任務(wù)調(diào)度， 控制任務(wù)的并發(fā)，防止機(jī)器處理不過來

  •  ENGIINE：就是基于Twisted框架, 當(dāng)事件來（比如轉(zhuǎn)發(fā)請求）的時(shí)候，通過回調(diào)的方式來執(zhí)行對應(yīng)的事件。我覺得ENGIINE讓所有操作變的統(tǒng)一，都是按照事件的方式來組織其他組件， 其他組件以低耦合的方式運(yùn)作；對于一種框架來說，無疑是必備的。

2. 基礎(chǔ)：XPath

寫爬蟲最重要的是解析網(wǎng)頁的內(nèi)容，這個(gè)部分就介紹下通過XPath來解析網(wǎng)頁，提取內(nèi)容。

2.1 HTML節(jié)點(diǎn)和屬性

怎么快速掌握scrapy爬蟲框架

2.2 解析語法

  •  a / b：‘/’在 xpath里表示層級關(guān)系，左邊的 a是父節(jié)點(diǎn)，右邊的 b是子節(jié)點(diǎn)

  •  a // b：表示a下所有b，直接或者間接的

  •  [@]：選擇具有某個(gè)屬性的節(jié)點(diǎn)

    •   //div[@classs], //a[@x]：選擇具有 class屬性的 div節(jié)點(diǎn)、選擇具有 x屬性的 a節(jié)點(diǎn)

    •   //div[@class="container"]：選擇具有 class屬性的值為 container的 div節(jié)點(diǎn)

  •  //a[contains(@id, "abc")]：選擇 id屬性里有 abc的 a標(biāo)簽

一個(gè)例子

response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').get_all()  # 獲取所有class屬性（css）為taglist的div， 下一個(gè)層ul下的所有l(wèi)i下所有a下所有img標(biāo)簽下data-original屬性  # data-original這里放的是圖片的url地址

3. 安裝部署

Scrapy 是用純python編寫的，它依賴于幾個(gè)關(guān)鍵的python包（以及其他包）：

  •  lxml 一個(gè)高效的XML和HTML解析器

  •  parsel ，一個(gè)寫在lxml上面的html/xml數(shù)據(jù)提取庫,

  •  w3lib ，用于處理URL和網(wǎng)頁編碼的多用途幫助程序

  •  twisted 異步網(wǎng)絡(luò)框架

  •  cryptography 和 pyOpenSSL ，處理各種網(wǎng)絡(luò)級安全需求 

# 安裝  pip install scrapy

4. 創(chuàng)建爬蟲項(xiàng)目

scrapy startproject sexy  # 創(chuàng)建一個(gè)后的項(xiàng)目目錄  # sexy  # │  scrapy.cfg  # │  # └─sexy  #     │  items.py  #     │  middlewares.py  #     │  pipelines.py  #     │  settings.py  #     │  __init__.py  #     │  #     ├─spiders  #     │  │  __init__.py  #     │  │  #     │  └─__pycache__  #     └─__pycache__  # 執(zhí)行 需要到scrapy.cfg同級別的目錄執(zhí)行  scrapy crawl sexy

從上可知，我們要寫的是spiders里的具體的spider類和items.py和pipelines.py（對應(yīng)的ITEM PIPELINES）

5. 開始scrapy爬蟲

5.1 簡單而強(qiáng)大的spider

這里實(shí)現(xiàn)的功能是從圖片網(wǎng)站中下載圖片，保存在本地， url做了脫敏。需要注意的點(diǎn)在注釋要標(biāo)明

  •  類要繼承 scrapy.Spider

  •  取一個(gè)唯一的name

  •  爬取的網(wǎng)站url加到start_urls列表里

  •  重寫parse利用xpath解析reponse的內(nèi)容

可以看到parse實(shí)現(xiàn)的時(shí)候沒有轉(zhuǎn)發(fā)給ITEM PIPELINES，直接處理了。這樣簡單的可以這么處理，如果業(yè)務(wù)很復(fù)雜，建議交給ITEM PIPELINES。后面會(huì)給例子

# 目錄結(jié)果為：spiders/sexy_spider.py  import scrapy  import os  import requests  import time  def download_from_url(url):      response = requests.get(url, stream=True)      if response.status_code == requests.codes.ok:          return response.content      else:          print('%s-%s' % (url, response.status_code))          return None  class SexySpider(scrapy.Spider):     # 如果有多個(gè)spider， name要唯一      name = 'sexy'      allowed_domains = ['uumdfdfnt.94demo.com']      allowed_urls = ['http://uumdfdfnt.94demo.com/']      # 需要爬取的網(wǎng)站url加到start_urls list里      start_urls = ['http://uumdfdfnt.94demo.com/tag/dingziku/index.html']      save_path = '/home/sexy/dingziku'      def parse(self, response):          # 解析網(wǎng)站，獲取圖片列表          img_list = response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').getall()          time.sleep(1)          # 處理圖片， 具體業(yè)務(wù)操作， 可交給items， 見5.2 items例子          for img_url in img_list:              file_name = img_url.split('/')[-1]              content = download_from_url(img_url)              if content is not None:                  with open(os.path.join(self.save_path, file_name), 'wb') as fw:                      fw.write(content)          # 自動(dòng)下一頁（見5.3 自動(dòng)下一頁）          next_page = response.xpath('//div[@class="page both"]/ul/a[text()="下一頁"]/@href').get()          if next_page is not None:              next_page = response.urljoin(next_page)              yield scrapy.Request(next_page, callback=self.parse)

5.2 items和pipline例子

這里說明下兩個(gè)的作用

  •  items：提供一個(gè)字段存儲(chǔ)， spider會(huì)將數(shù)據(jù)存在這里

  •  pipline：會(huì)從items取數(shù)據(jù)，進(jìn)行業(yè)務(wù)操作，比如5.1中的保存圖片；又比如存儲(chǔ)到數(shù)據(jù)庫中等

我們來改寫下上面的例子

  •  items.py其實(shí)就是定義字段scrapy.Field() 

import scrapy class SexyItem(scrapy.Item):      # define the fields for your item here like:      # name = scrapy.Field()      img_url = scrapy.Field()

  •  spiders/sexy_spider.py 

import scrapy  import os  # 導(dǎo)入item  from ..items import SexyItem  class SexySpider(scrapy.Spider):    # 如果有多個(gè)spider， name要唯一      name = 'sexy'      allowed_domains = ['uumdfdfnt.94demo.com']      allowed_urls = ['http://uumdfdfnt.94demo.com/']      # 需要爬取的網(wǎng)站url加到start_urls list里      start_urls = ['http://uumdfdfnt.94demo.com/tag/dingziku/index.html']      save_path = '/home/sexy/dingziku'      def parse(self, response):          # 解析網(wǎng)站，獲取圖片列表          img_list = response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').getall()          time.sleep(1)          # 處理圖片， 具體業(yè)務(wù)操作， 可交給yield items          for img_url in img_list:              items = SexyItem()              items['img_url'] = img_url              yield items

  •  pipelines.py 

import os  import requests  def download_from_url(url):      response = requests.get(url, stream=True)      if response.status_code == requests.codes.ok:          return response.content      else:          print('%s-%s' % (url, response.status_code))          return None  class SexyPipeline(object):      def __init__(self):          self.save_path = '/tmp'      def process_item(self, item, spider):          if spider.name == 'sexy':              # 取出item里內(nèi)容              img_url = item['img_url']                        # 業(yè)務(wù)處理              file_name = img_url.split('/')[-1]              content = download_from_url(img_url)              if content is not None:                  with open(os.path.join(self.save_path, file_name), 'wb') as fw:                      fw.write(content)          return item

  •  重要的配置要開啟在settings.py中開啟piplines類，數(shù)值表示優(yōu)先級 

ITEM_PIPELINES = {     'sexy.pipelines.SexyPipeline': 300,  }

5.3 自動(dòng)下一頁

有時(shí)候我們不僅要爬取請求頁面中的內(nèi)容，還要遞歸式的爬取里面的超鏈接url，特別是下一頁這種，解析內(nèi)容和當(dāng)前頁面相同的情況下。一種笨方法是手動(dòng)加到start_urls里。大家都是聰明人來試試這個(gè)。

  •  先在頁面解析下下一頁的url

  •  scrapy.Request(next_page, callback=self.parse) 發(fā)起一個(gè)請求，并調(diào)用parse來解析，當(dāng)然你可以用其他的解析

完美了，完整例子見5.1

next_page = response.xpath('//div[@class="page both"]/ul/a[text()="下一頁"]/@href').get()  if next_page is not None:     next_page = response.urljoin(next_page)     yield scrapy.Request(next_page, callback=self.parse)

5.4 中間件

  •  下載中間件 中間件的作用是提供一些常用的鉤子Hook來增加額外的操作。中間件的操作是在middlewares.py?？梢钥吹街饕翘幚碚埱髉rocess_request，響應(yīng)process_response和異常process_exception三個(gè)鉤子函數(shù)。

  •  處理請求process_request: 傳給DOWNLOADER之前做的操作

  •  響應(yīng)process_response：DOWNLOADER給ENGIINE響應(yīng)之前的操作

這里舉一個(gè)添加模擬瀏覽器請求的方式，防止爬蟲被封鎖。重寫process_request

from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware  import random  agents = ['Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;',                'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',                'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',                'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',                'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)']  class RandomUserAgent(UserAgentMiddleware):      def process_request(self, request, spider):          ua = random.choice(agents)          request.headers.setdefault('User-agent',ua,)

統(tǒng)一要在settings.py中開啟下載中間件，數(shù)值表示優(yōu)先級

DOWNLOADER_MIDDLEWARES = {      'sexy.middlewares.customUserAgent.RandomUserAgent': 20,  }

5.5 可用配置settings.py

除了上面提供的pipline配置開啟和中間件配置外，下面介紹幾個(gè)常用的配置

  •  爬蟲機(jī)器人規(guī)則：ROBOTSTXT_OBEY = False， 如果要爬取的網(wǎng)站有設(shè)置robots.txt，最好設(shè)置為False

  •  CONCURRENT_REQUESTS：并發(fā)請求

  •  DOWNLOAD_DELAY：下載延遲，可以適當(dāng)配置，避免把網(wǎng)站也爬掛了。

到此，關(guān)于“怎么快速掌握scrapy爬蟲框架”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

分享文章：怎么快速掌握scrapy爬蟲框架
URL地址：http://muchs.cn/article26/piogcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、網(wǎng)站維護(hù)、手機(jī)網(wǎng)站建設(shè)、、服務(wù)器托管、動(dòng)態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都seo排名網(wǎng)站優(yōu)化