今天就跟大家聊聊有關(guān)如何引入ItemLoader和Item預(yù)處理函數(shù),可能很多人都不太了解,為了讓大家更加了解,小編給大家總結(jié)了以下內(nèi)容,希望大家根據(jù)這篇文章可以有所收獲。
創(chuàng)新互聯(lián)堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:做網(wǎng)站、成都網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的遠(yuǎn)安網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!在項(xiàng)目的item.py文件中創(chuàng)建一個(gè)自定義的loader類,然后讓這個(gè)自定義類繼承ItemLoader類;
class XkdItemLoader(ItemLoader): default_output_processor = TakeFirst()
ItemLoader類的語法:scrapy.loader.ItemLoader([ item,selector,response,] ** kwargs )
,它可以接收一個(gè) Item 實(shí)例來指定要加載的 Item,然后指定 r來確定要解析的內(nèi)容esponse 或者 selector; ItemLoader 實(shí)例還提供很多方法,如提供add_css()方法和add_xpath()方法來通過 css 和xpath 解析賦值,或使用add_value()方法來單獨(dú)進(jìn)行賦值等。
更多其他的用法大家可以查看: https://doc.scrapy.org/en/latest/topics/loaders.html
首先重寫spider中的parse_analyse方法,導(dǎo)入自定義的loader類,然后需要實(shí)例化這個(gè)loader類,將參數(shù)item和response傳遞到loader類中。 然后可以使用add_css()、add_xpath()、add_value()方法來提取和收集數(shù)據(jù)保存到loader類實(shí)例化對象中; 最后當(dāng)所有數(shù)據(jù)被收集起來之后,調(diào)用ItemLoader.load_item()
方法對結(jié)果進(jìn)行解析并保存到一個(gè)item中,然后返回這個(gè)item;
def parse_analyse(self, response): # 構(gòu)建loader xkd_itemload = MyItemLoader(item=XkdDribbbleSpiderItem(), response=response) image_url = response.meta.get('a_image_url') # 通過loader定位元素和解析元素 xkd_itemload.add_css('title', "[role='article'] header h2") # 注意這里傳遞的是一個(gè)列表 xkd_itemload.add_value('image_url', [image_url]) xkd_itemload.add_value('url', response.url) xkd_itemload.add_value('url_id', get_md5(response.url)) xkd_itemload.add_css('date', 'p span.date::text') # 解析元素之后返回item xkd_item = xkd_itemload.load_item() # 將item返回 yield xkd_item
修改item數(shù)據(jù)模型,需要導(dǎo)入from scrapy.loader.processors import MapCompose
,可以在scrapy.Field中加入處理函數(shù)。MapCompose是一種處理器,由給定功能的組合構(gòu)成,類似于Compose處理器,與此處理器的不同之處在于內(nèi)部結(jié)果在函數(shù)之間傳遞的方式;
Scrapy還給我們提供了一個(gè)scrapy.loader.processors.TakeFirst()
方法,用于返回第一個(gè)非空值(相當(dāng)于extract_first()方法),常用于單值字段的輸出處器,無參數(shù);
from scrapy.loader.processors import TakeFirst, MapCompose from datetime import datetime def str_to_date(str_date): str_date = str_date.strip() date = datetime.strptime(str_date, '%b %d, %Y').date() return date.strftime('%Y-%m-%d') class XkdDribbbleSpiderItem(scrapy.Item): title = scrapy.Field() image_url = scrapy.Field( output_processor = MapCompose(lambda value: value) ) date = scrapy.Field( input_processor = MapCompose(str_to_date) ) image_path = scrapy.Field() url = scrapy.Field() url_id = scrapy.Field()
看完上述內(nèi)容,你們對如何引入ItemLoader和Item預(yù)處理函數(shù)有進(jìn)一步的了解嗎?如果還想了解更多知識(shí)或者相關(guān)內(nèi)容,請關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道,感謝大家的支持。
當(dāng)前文章:如何引入ItemLoader和Item預(yù)處理函數(shù)-創(chuàng)新互聯(lián)
轉(zhuǎn)載來源:http://muchs.cn/article20/csjhco.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、企業(yè)網(wǎng)站制作、品牌網(wǎng)站設(shè)計(jì)、Google、網(wǎng)站制作
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容