Python3爬蟲(chóng)實(shí)戰(zhàn)中爬取豆瓣電影的方法是什么

這篇文章將為大家詳細(xì)講解有關(guān)Python3爬蟲(chóng)實(shí)戰(zhàn)中爬取豆瓣電影的方法是什么，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

從江ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書(shū)未來(lái)市場(chǎng)廣闊！成為創(chuàng)新互聯(lián)的ssl證書(shū)銷(xiāo)售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話(huà)聯(lián)系或者加微信：18980820575（備注：SSL證書(shū)合作）期待與您的合作！

爬蟲(chóng)又稱(chēng)為網(wǎng)頁(yè)蜘蛛，是一種程序或腳本。

但重點(diǎn)在于，它能夠按照一定的規(guī)則，自動(dòng)獲取網(wǎng)頁(yè)信息。

爬蟲(chóng)的基本原理——通用框架

1.挑選種子URL；

2.講這些URL放入帶抓取的URL列隊(duì)；

3.取出帶抓取的URL，下載并存儲(chǔ)進(jìn)已下載網(wǎng)頁(yè)庫(kù)中。此外，講這些URL放入帶抓取URL列隊(duì)，進(jìn)入下一循環(huán)。

4.分析已抓取列隊(duì)中的URL，并且將URL放入帶抓取URL列隊(duì)，從而進(jìn)去下一循環(huán)。

爬蟲(chóng)獲取網(wǎng)頁(yè)信息和人工獲取信息，其實(shí)原理是一致的。

如我們要獲取電影的“評(píng)分”信息

人工操作步驟：

1.獲取電影信息的網(wǎng)頁(yè)；

2.定位（找到）要評(píng)分信息的位置；

3.復(fù)制、保存我們想要的評(píng)分?jǐn)?shù)據(jù)。

爬蟲(chóng)操作步驟：

1.請(qǐng)求并下載電影頁(yè)面信息；

2.解析并定位評(píng)分信息；

3.保存評(píng)分?jǐn)?shù)據(jù)。

爬蟲(chóng)的基本流程

簡(jiǎn)單來(lái)說(shuō)，我們向服務(wù)器發(fā)送請(qǐng)求后，會(huì)得到返回的頁(yè)面，通過(guò)解析頁(yè)面后，我們可以抽取我們想要的那部分信息，并存儲(chǔ)在指定文檔或數(shù)據(jù)庫(kù)中，這樣，我們想要的信息會(huì)被我們“爬”下來(lái)了。

python中用于爬蟲(chóng)的包很多，如bs4，urllib，requests等等。這里我們用requests+xpath的方式，因?yàn)楹?jiǎn)單易學(xué)，像BeautifulSoup還是有點(diǎn)難的。

下面我們就使用requests和xpath來(lái)爬取豆瓣電影中的“電影名”、“導(dǎo)演”、“演員”、“評(píng)分”等信息。

安裝requests和lxml庫(kù)：

pip install requests
pip install lxml

一、導(dǎo)入模塊

#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time #這里導(dǎo)入時(shí)間模塊，以免豆瓣封你IP

二、獲取豆瓣電影目標(biāo)網(wǎng)頁(yè)并解析

爬取豆瓣電影《神秘巨星》上的一些信息，地址

https://movie.douban.com/subject/26942674/?from=showing

#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time 
url = 'https://movie.douban.com/subject/26942674/'
data = requests.get(url).text
s=etree.HTML(data)
#給定url并用requests.get()方法來(lái)獲取頁(yè)面的text，用etree.HTML()
#來(lái)解析下載的頁(yè)面數(shù)據(jù)“data”。

1.獲取電影名稱(chēng)。

獲取電影的xpath信息并獲得文本

s.xpath('元素的xpath信息/text()')

這里的xpath信息要手動(dòng)獲取，獲取方式如下：

1.如果你是用谷歌瀏覽器的話(huà)，鼠標(biāo)“右鍵”–>“檢查元素”；

2.Ctrl+Shift+C將鼠標(biāo)定位到標(biāo)題；

3.“右鍵”–>“Copy”–>“Copy Xpath”就可以復(fù)制xpath。

這樣，我們就把電影標(biāo)題的xpath信息復(fù)制下來(lái)了。

//*[@id="content"]/h2/span[1]

放到代碼中并打印信息

#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time
url = 'https://movie.douban.com/subject/26942674/'
data = requests.get(url).text
s=etree.HTML(data)
 
film_name = s.xpath('//*[@id="content"]/h2/span[1]/text()')
print("電影名:",film_name)

這樣，我們爬取豆瓣電影中《神秘巨星》的“電影名稱(chēng)”信息的代碼已經(jīng)完成了，可以在eclipse中運(yùn)行代碼。

得到如下結(jié)果：

電影名: ['神秘巨星 Secret Superstar']

OK，邁出了第一步，我們繼續(xù)抓取導(dǎo)演、主演、評(píng)分；

film_name=s.xpath('//*[@id="content"]/h2/span[1]/text()')#電影名
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')#編劇
actor1=s.xpath('//*[@id="info"]/span[3]/span[2]/a[1]/text()')#主演1
actor2=s.xpath('//*[@id="info"]/span[3]/span[2]/a[2]/text()')#主演2
actor3=s.xpath('//*[@id="info"]/span[3]/span[2]/a[3]/text()')#主演3
actor4=s.xpath('//*[@id="info"]/span[3]/span[2]/a[4]/text()')#主演4
movie_time=s.xpath('//*[@id="info"]/span[13]/text()')#片長(zhǎng)

觀察上面的代碼，發(fā)現(xiàn)獲取不同主演時(shí)，區(qū)別只在于“a[x]”中“x”的值不同。實(shí)際上，要一次性獲取所有主演信息時(shí)，用不加數(shù)字的“a”即可獲取。

如下：

actors = s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')#所有主演

所以我們修改好的完整代碼如下：

#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time
url1 = 'https://movie.douban.com/subject/26942674/'
data = requests.get(url1).text
s=etree.HTML(data)
 
film_name=s.xpath('//*[@id="content"]/h2/span[1]/text()')#電影名
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')#編劇
actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')#主演
movie_time=s.xpath('//*[@id="info"]/span[13]/text()')#片長(zhǎng)
#由于導(dǎo)演有時(shí)候不止一個(gè)人，所以我這里以列表的形式輸出
ds = []
for d in director:
    ds.append(d)
    
#由于演員不止一個(gè)人，所以我這里以列表的形式輸出
acs = []
for a in actor:
    acs.append(a)
print ('電影名:',film_name)
print ('導(dǎo)演:',ds)
print ('主演:',acs)
print ('片長(zhǎng):',movie_time)

結(jié)果輸出：

電影名: ['神秘巨星 Secret Superstar']
導(dǎo)演: ['阿德瓦·香登']
主演: ['塞伊拉·沃西', '梅·維賈', '阿米爾·汗', '拉杰·阿晶', '提斯·沙馬', '卡比爾·謝赫', '法如克·賈法爾', 
'馬努杰·沙瑪', '莫娜·安伯加卡爾', '尼基塔·阿南德', '尚', '莫納利·塔庫(kù)爾']
片長(zhǎng): ['150分鐘']

怎么樣，是不是很簡(jiǎn)單啊。趕快去試試吧~~~

這里順便補(bǔ)充點(diǎn)基礎(chǔ)知識(shí)：

Requests常用的七種方法：

目前，我們只需要掌握最常用的requests.get()方法就好了。

requests.get()的使用方法

import requests
url = 'https://www.baidu.com'
data = requests.get(url)#使用get方法發(fā)送請(qǐng)求，返回汗網(wǎng)頁(yè)數(shù)據(jù)的Response并存儲(chǔ)到對(duì)象data 中

Repsonse對(duì)象的屬性：

data.status_code：http請(qǐng)求的返回狀態(tài)，200表示連接成功；

data.text：返回對(duì)象的文本內(nèi)容；

data.content：猜測(cè)返回對(duì)象的二進(jìn)制形式；

data.encoding：返回對(duì)象的編碼方式；

data.apparent_encoding：響應(yīng)內(nèi)容編碼方式。

關(guān)于Python3爬蟲(chóng)實(shí)戰(zhàn)中爬取豆瓣電影的方法是什么就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

本文標(biāo)題：Python3爬蟲(chóng)實(shí)戰(zhàn)中爬取豆瓣電影的方法是什么
新聞來(lái)源：http://muchs.cn/article16/pidigg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、網(wǎng)站營(yíng)銷(xiāo)、網(wǎng)站維護(hù)、網(wǎng)站設(shè)計(jì)、、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)