Python爬取豆瓣電影方法是什么

本篇內(nèi)容主要講解“Python爬取豆瓣電影方法是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Python爬取豆瓣電影方法是什么”吧!

創(chuàng)新互聯(lián)是一家專注于成都做網(wǎng)站、網(wǎng)站建設(shè)與策劃設(shè)計(jì),南樂網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十載,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:南樂等地區(qū)。南樂做網(wǎng)站價格咨詢:13518219792

主要目標(biāo)

環(huán)境：MAC + Python3.6 ;  IDE： Pycharm. 具體使用的模塊如下。

import requests import re import json

但是如果你的系統(tǒng)上安裝了anaconda，模塊requests已經(jīng)安裝完成，但是pycharm不能識別。此時只需要使用preferences直接進(jìn)行安裝，入下圖所示，點(diǎn)擊+，直接安裝即可。

爬取分析

---

對于每一個頁面的爬取，我們使用的requests庫。Requests是用python語言基于urllib編寫的，采用的是Apache2 Licensed開源協(xié)議的HTTP庫。它比urllib更加方便，可以節(jié)約我們大量的工作。（用了requests之后，你基本都不愿意用urllib了）一句話，requests是python實(shí)現(xiàn)的最簡單易用的HTTP庫，建議爬蟲使用requests庫。默認(rèn)安裝好python之后，是沒有安裝requests模塊的，需要單獨(dú)通過pip安裝或者使用pycharm軟件安裝（如上文所示）.

直接使用庫requests中的get方法對目標(biāo)網(wǎng)址發(fā)出申請。為了防止請求的頁面沒有成功，我們添加了捕獲異常的代碼塊try,except。另外，如果多次爬取同一個網(wǎng)址，您的ip可能被封，不能在爬取任何信息。為了解決此問題，本次在代碼中設(shè)置了代理信息，具體代碼請關(guān)注人工智能與大數(shù)據(jù)生活(data_circle)，文末長按二維碼即可，回復(fù) ”豆瓣電影“ 獲得全部代碼。

`python` def get_one_page(url):     '''
        抓取第一頁內(nèi)容
    :return: 請求的頁面的信息
    '''     try:
       
        response = requests.get(url,headers=headers)

        if response.status_code == 200:
            return response.text

        return None     except RequestException:
        return None

頁面解析

---

解析后的結(jié)果，我們使用write函數(shù)寫入csv文件中，代碼如下。

def write_to_file(content): '''

          保存結(jié)果到CSV文件
    :param content:
    :return: 無
    '''

    with open('douban_movie_250.csv','a',encoding='utf-8') as f:
        f.write(json.dumps(content,ensure_ascii=False)+'\n')

到此，相信大家對“Python爬取豆瓣電影方法是什么”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

網(wǎng)頁題目：Python爬取豆瓣電影方法是什么
本文網(wǎng)址：http://muchs.cn/article20/johdco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、營銷型網(wǎng)站建設(shè)、電子商務(wù)、網(wǎng)站設(shè)計(jì)、外貿(mào)網(wǎng)站建設(shè)、App設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)