這篇文章將為大家詳細(xì)講解有關(guān)使用Python爬蟲怎么將網(wǎng)頁圖片保存到本地,文章內(nèi)容質(zhì)量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。
網(wǎng)站建設(shè)哪家好,找成都創(chuàng)新互聯(lián)!專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、小程序定制開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了米林免費(fèi)建站歡迎大家使用!其實(shí)和爬取普通數(shù)據(jù)本質(zhì)一樣,不過我們直接爬取數(shù)據(jù)會直接返回,爬取圖片需要處理成二進(jìn)制數(shù)據(jù)保存成圖片格式(.jpg,.png等)的數(shù)據(jù)文本。
現(xiàn)在貼一個url=https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-001.jpg
請復(fù)制上面的url直接在某個瀏覽器打開,你會看到如下內(nèi)容:
這就是通過網(wǎng)頁訪問到的該網(wǎng)站的該圖片,于是我們可以直接利用requests模塊,進(jìn)行這個圖片的請求,于是這個網(wǎng)站便會返回給我們該圖片的數(shù)據(jù),我們再把數(shù)據(jù)寫入本地文件就行,比較簡單。
import requests headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} url='https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-001.jpg' re=requests.get(url,headers=headers) print(re.status_code)#查看請求狀態(tài),返回200說明正常 path='test.jpg'#文件儲存地址 with open(path, 'wb') as f:#把圖片數(shù)據(jù)寫入本地,wb表示二進(jìn)制儲存 for chunk in re.iter_content(chunk_size=128): f.write(chunk)
然后得到test.jpg圖片,如下
點(diǎn)擊打開查看如下:
便是下載成功辣,很簡單吧。
現(xiàn)在分析下批量下載,我們將上面的代碼打包成一個函數(shù),于是針對每張圖片,單獨(dú)一個名字,單獨(dú)一個圖片文件請求,于是有如下代碼:
import requests def get_pictures(url,path): headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} re=requests.get(url,headers=headers) print(re.status_code)#查看請求狀態(tài),返回200說明正常 with open(path, 'wb') as f:#把圖片數(shù)據(jù)寫入本地,wb表示二進(jìn)制儲存 for chunk in re.iter_content(chunk_size=128): f.write(chunk) url='https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-001.jpg' path='test.jpg'#文件儲存地址 get_pictures(url,path)
現(xiàn)在要實(shí)現(xiàn)批量下載圖片,也就是批量獲得圖片的url,那么我們就得分析網(wǎng)頁的代碼結(jié)構(gòu),打開原始網(wǎng)站
于是我們需要分別得到該頁面中顯示的所有圖片的url,于是我們再次用requests模塊返回當(dāng)前該頁面的內(nèi)容,如下:
import requests headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} url='https://www.ivsky.com/tupian/bianxingjingang_v622/' re=requests.get(url,headers=headers) print(re.text)
運(yùn)行會返回當(dāng)前該頁面的網(wǎng)頁結(jié)構(gòu)內(nèi)容,于是我們找到和圖片相關(guān)的也就是.jpg或者.png等圖片格式的字條,如下:
上面圈出來的**//img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-017.jpg**便是我們的圖片url,不過還需要前面加上https:,于是完成的url就是https://img.ivsky.com/img/tupian/t/201008/05/bianxingjingang-017.jpg。
我們知道了這個結(jié)構(gòu),現(xiàn)在就是把這個提取出來,寫個簡單的解析式:
import requests headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} url='https://www.ivsky.com/tupian/bianxingjingang_v622/' re=requests.get(url,headers=headers) def get_pictures_urls(text): st='img src="' m=len(st) i=0 n=len(text) urls=[]#儲存url while i<n: if text[i:i+m]==st: url='' for j in range(i+m,n): if text[j]=='"': i=j urls.append(url) break url+=text[j] i+=1 return urls urls=get_pictures_urls(re.text) for url in urls: print(url)
打印結(jié)果如下:
得到了url,現(xiàn)在就直接放入一開始的get_pictures函數(shù)中,爬取圖片辣。
import requests def get_pictures(url,path): headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} re=requests.get(url,headers=headers) print(re.status_code)#查看請求狀態(tài),返回200說明正常 with open(path, 'wb') as f:#把圖片數(shù)據(jù)寫入本地,wb表示二進(jìn)制儲存 for chunk in re.iter_content(chunk_size=128): f.write(chunk) def get_pictures_urls(text): st='img src="' m=len(st) i=0 n=len(text) urls=[]#儲存url while i<n: if text[i:i+m]==st: url='' for j in range(i+m,n): if text[j]=='"': i=j urls.append(url) break url+=text[j] i+=1 return urls headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} url='https://www.ivsky.com/tupian/bianxingjingang_v622/' re=requests.get(url,headers=headers) urls=get_pictures_urls(re.text)#獲取當(dāng)前頁面所有圖片的url for i in range(len(urls)):#批量爬取圖片 url='https:'+urls[i] path='變形金剛'+str(i)+'.jpg' get_pictures(url,path)
關(guān)于使用Python爬蟲怎么將網(wǎng)頁圖片保存到本地就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學(xué)到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
新聞標(biāo)題:使用Python爬蟲怎么將網(wǎng)頁圖片保存到本地-創(chuàng)新互聯(lián)
鏈接分享:http://muchs.cn/article14/depdge.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供動態(tài)網(wǎng)站、外貿(mào)建站、關(guān)鍵詞優(yōu)化、標(biāo)簽優(yōu)化、網(wǎng)站排名、微信公眾號
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容