怎么用Python爬取某圖網(wǎng)的圖片

本篇內(nèi)容介紹了“怎么用Python爬取某圖網(wǎng)的圖片”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)主要為客戶提供服務(wù)項目涵蓋了網(wǎng)頁視覺設(shè)計、VI標志設(shè)計、營銷推廣、網(wǎng)站程序開發(fā)、HTML5響應(yīng)式重慶網(wǎng)站建設(shè)公司、手機網(wǎng)站開發(fā)、微商城、網(wǎng)站托管及網(wǎng)站維護、WEB系統(tǒng)開發(fā)、域名注冊、國內(nèi)外服務(wù)器租用、視頻、平面設(shè)計、SEO優(yōu)化排名。設(shè)計、前端、后端三個建站步驟的完善服務(wù)體系。一人跟蹤測試的建站服務(wù)標準。已經(jīng)為石涼亭行業(yè)客戶提供了網(wǎng)站推廣服務(wù)。

相信很多設(shè)計小伙伴有好的靈感，但是沒有好的設(shè)計素材,今天它來了。攝圖網(wǎng)4000張設(shè)計素材，取之不盡，如下圖所示：

好了，廢話不多說，開始用Python采集。

01需求分析

采集攝圖網(wǎng)的素材圖片，目標網(wǎng)址-->請求數(shù)據(jù)-->解析數(shù)據(jù)-->提取數(shù)據(jù)-->保存數(shù)據(jù)。

02技術(shù)棧

首先我們用到的技術(shù)包括：urllib，requests，bs4等。

03采集流程

1、分析網(wǎng)頁結(jié)構(gòu)

打開網(wǎng)址:https://699pic.com/paihang/tupian.html,分析網(wǎng)頁結(jié)構(gòu),我們可以看到首頁圖片數(shù)據(jù)雜論,這里我們爬取的是"今日熱門"的圖片,點擊發(fā)現(xiàn)更多:來到目標頁面,拖動滾輪滑到底部,發(fā)現(xiàn)有40個分頁,也就是我們今天要爬取的4000張設(shè)計圖片：

2、發(fā)起請求

接著對列表中的每一條url進行遍歷,然后發(fā)起請求：

for url in urllist:     resp = requests.get(url,headers=hd)     html = resp.content.decode('utf-8')

3、數(shù)據(jù)解析

得到了一個html對象,爬取頁面數(shù)據(jù)信息后,需要對頁面進行解析,這里我使用到的解析庫是bs4(偏愛),當然xpath也是可以的。通過分析頁面元素,我們發(fā)現(xiàn)每個翻頁里面的圖片都有這樣的規(guī)律：

因此可以通過bs4的select方法抓取所有class='lazy'的img標簽,得到一個列表,然后通過測試發(fā)現(xiàn)圖片的鏈接存放在img標簽的data-original屬性里,通過img.attrs['data-original']得到,再與'https:'進行字符串拼接,得到完整圖片鏈接。

for img in imgs:            img_url = img.attrs['data-original']            total_url = base_http_str + img_url            print(total_url)            # print('--'*60)            imgurllist.append(total_url)

4.提取保存數(shù)據(jù)

最后運用urllib中的urlretrive方法,把圖片保存到本地。

def writeData(imgurllist):     for index,url in enumerate(imgurllist):         urllib.request.urlretrieve(url,'image/'+ '%s.png'%index)         print('第%s張圖片下載完成'%index)

04運行爬蟲

運行爬蟲代碼，效果如下：

圖片就下載完成了，不過運用傳統(tǒng)方法有點慢，下次試試多線程，提升爬蟲效率。

“怎么用Python爬取某圖網(wǎng)的圖片”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！

文章標題：怎么用Python爬取某圖網(wǎng)的圖片
轉(zhuǎn)載來源：http://muchs.cn/article44/iidoee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機網(wǎng)站建設(shè)、服務(wù)器托管、Google、網(wǎng)站設(shè)計、電子商務(wù)、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)