Scrapy框架中CrawlSpider類是什么-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商，新人活動買多久送多久，劃算不套路！

成都創(chuàng)新互聯(lián)自2013年創(chuàng)立以來，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元洛江做網(wǎng)站,已為上家服務(wù),為洛江各地企業(yè)和個人服務(wù),聯(lián)系電話:18982081108

這篇文章將為大家詳細(xì)講解有關(guān)Scrapy框架中CrawlSpider類是什么，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

CrawlSpider類

通過下面的命令可以快速創(chuàng)建 CrawlSpider模板的代碼：

scrapy genspider -t crawl tencent tencent.com

CrawSpider是Spider的派生類，Spider類的設(shè)計原則是只爬取start_url列表中的網(wǎng)頁，而CrawlSpider類定義了一些規(guī)則(rule)來提供跟進link的方便的機制，從爬取的網(wǎng)頁中獲取link并繼續(xù)爬取的工作更適合。

CrawSpider源碼詳細(xì)解析

class CrawlSpider(Spider):
    rules = ()
    def __init__(self, *a, **kw):
        super(CrawlSpider, self).__init__(*a, **kw)
        self._compile_rules()
    #首先調(diào)用parse()來處理start_urls中返回的response對象
    #parse()則將這些response對象傳遞給了_parse_response()函數(shù)處理，并設(shè)置回調(diào)函數(shù)為parse_start_url()
    #設(shè)置了跟進標(biāo)志位True
    #parse將返回item和跟進了的Request對象    
    def parse(self, response):
        return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)
    #處理start_url中返回的response，需要重寫
    def parse_start_url(self, response):
        return []
    def process_results(self, response, results):
        return results
    #從response中抽取符合任一用戶定義'規(guī)則'的鏈接，并構(gòu)造成Resquest對象返回
    def _requests_to_follow(self, response):
        if not isinstance(response, HtmlResponse):
            return
        seen = set()
        #抽取之內(nèi)的所有鏈接，只要通過任意一個'規(guī)則'，即表示合法
        for n, rule in enumerate(self._rules):
            links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
            #使用用戶指定的process_links處理每個連接
            if links and rule.process_links:
                links = rule.process_links(links)
            #將鏈接加入seen集合，為每個鏈接生成Request對象，并設(shè)置回調(diào)函數(shù)為_repsonse_downloaded()
            for link in links:
                seen.add(link)
                #構(gòu)造Request對象，并將Rule規(guī)則中定義的回調(diào)函數(shù)作為這個Request對象的回調(diào)函數(shù)
                r = Request(url=link.url, callback=self._response_downloaded)
                r.meta.update(rule=n, link_text=link.text)
                #對每個Request調(diào)用process_request()函數(shù)。該函數(shù)默認(rèn)為indentify，即不做任何處理，直接返回該Request.
                yield rule.process_request(r)
    #處理通過rule提取出的連接，并返回item以及request
    def _response_downloaded(self, response):
        rule = self._rules[response.meta['rule']]
        return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)
    #解析response對象，會用callback解析處理他，并返回request或Item對象
    def _parse_response(self, response, callback, cb_kwargs, follow=True):
        #首先判斷是否設(shè)置了回調(diào)函數(shù)。（該回調(diào)函數(shù)可能是rule中的解析函數(shù)，也可能是 parse_start_url函數(shù)）
        #如果設(shè)置了回調(diào)函數(shù)（parse_start_url()），那么首先用parse_start_url()處理response對象，
        #然后再交給process_results處理。返回cb_res的一個列表
        if callback:
            #如果是parse調(diào)用的，則會解析成Request對象
            #如果是rule callback，則會解析成Item
            cb_res = callback(response, **cb_kwargs) or ()
            cb_res = self.process_results(response, cb_res)
            for requests_or_item in iterate_spider_output(cb_res):
                yield requests_or_item
        #如果需要跟進，那么使用定義的Rule規(guī)則提取并返回這些Request對象
        if follow and self._follow_links:
            #返回每個Request對象
            for request_or_item in self._requests_to_follow(response):
                yield request_or_item
    def _compile_rules(self):
        def get_method(method):
            if callable(method):
                return method
            elif isinstance(method, basestring):
                return getattr(self, method, None)
        self._rules = [copy.copy(r) for r in self.rules]
        for rule in self._rules:
            rule.callback = get_method(rule.callback)
            rule.process_links = get_method(rule.process_links)
            rule.process_request = get_method(rule.process_request)
    def set_crawler(self, crawler):
        super(CrawlSpider, self).set_crawler(crawler)
        self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)

CrawlSpider繼承于Spider類，除了繼承過來的屬性外（name、allow_domains），還提供了新的屬性和方法:

LinkExtractors

Link Extractors 的目的很簡單: 提取鏈接?

每個LinkExtractor有唯一的公共方法是 extract_links()，它接收一個 Response 對象，并返回一個 scrapy.link.Link 對象。

Link Extractors要實例化一次，并且 extract_links 方法會根據(jù)不同的 response 調(diào)用多次提取鏈接?

class scrapy.linkextractors.LinkExtractor(
    allow = (),
    deny = (),
    allow_domains = (),
    deny_domains = (),
    deny_extensions = None,
    restrict_xpaths = (),
    tags = ('a','area'),
    attrs = ('href'),
    canonicalize = True,
    unique = True,
    process_value = None
)

主要參數(shù)：

allow：滿足括號中“正則表達(dá)式”的值會被提取，如果為空，則全部匹配。

deny：與這個正則表達(dá)式(或正則表達(dá)式列表)不匹配的URL一定不提取。

allow_domains：會被提取的鏈接的domains。

deny_domains：一定不會被提取鏈接的domains。

restrict_xpaths：使用xpath表達(dá)式，和allow共同作用過濾鏈接

rules

在rules中包含一個或多個Rule對象，每個Rule對爬取網(wǎng)站的動作定義了特定操作。如果多個rule匹配了相同的鏈接，則根據(jù)規(guī)則在本集合中被定義的順序，第一個會被使用。

class scrapy.spiders.Rule(
        link_extractor, 
        callback = None, 
        cb_kwargs = None, 
        follow = None, 
        process_links = None, 
        process_request = None
)

主要參數(shù):

link_extractor：是一個Link Extractor對象，用于定義需要提取的鏈接。

callback：從link_extractor中每獲取到鏈接時，參數(shù)所指定的值作為回調(diào)函數(shù)，該回調(diào)函數(shù)接受一個response作為其第一個參數(shù)。

注意：當(dāng)編寫爬蟲規(guī)則時，避免使用parse作為回調(diào)函數(shù)。由于CrawlSpider使用parse方法來實現(xiàn)其邏輯，如果覆蓋了 parse方法，crawl spider將會運行失敗。

follow：是一個布爾(boolean)值，指定了根據(jù)該規(guī)則從response提取的鏈接是否需要跟進。如果callback為None，follow 默認(rèn)設(shè)置為True ，否則默認(rèn)為False。

process_links：指定該spider中哪個的函數(shù)將會被調(diào)用，從link_extractor中獲取到鏈接列表時將會調(diào)用該函數(shù)。該方法主要用來過濾。

process_request：指定該spider中哪個的函數(shù)將會被調(diào)用，該規(guī)則提取到每個request時都會調(diào)用該函數(shù)。 (用來過濾request)

關(guān)于Scrapy框架中CrawlSpider類是什么就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

新聞標(biāo)題：Scrapy框架中CrawlSpider類是什么-創(chuàng)新互聯(lián)
瀏覽地址：http://muchs.cn/article12/cdsddc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營銷推廣、網(wǎng)站導(dǎo)航、App開發(fā)、自適應(yīng)網(wǎng)站、關(guān)鍵詞優(yōu)化、網(wǎng)站排名

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容