pythonurllib模塊的使用方法

這篇文章主要介紹python urllib模塊的使用方法，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

堅(jiān)守“ 做人真誠(chéng) · 做事靠譜 · 口碑至上 · 高效敬業(yè) ”的價(jià)值觀，專業(yè)網(wǎng)站建設(shè)服務(wù)10余年為成都成都玻璃隔斷小微創(chuàng)業(yè)公司專業(yè)提供企業(yè)網(wǎng)站設(shè)計(jì)營(yíng)銷網(wǎng)站建設(shè)商城網(wǎng)站建設(shè)手機(jī)網(wǎng)站建設(shè)小程序網(wǎng)站建設(shè)網(wǎng)站改版，從內(nèi)容策劃、視覺(jué)設(shè)計(jì)、底層架構(gòu)、網(wǎng)頁(yè)布局、功能開(kāi)發(fā)迭代于一體的高端網(wǎng)站建設(shè)服務(wù)。

urllib 是一個(gè) python 內(nèi)置包，不需要額外安裝即可使用，包里面包含了以下幾個(gè)用來(lái)處理 url 的模塊：

l urllib.request可以用來(lái)發(fā)送request和獲取request的結(jié)果

l urllib.error包含了urllib.request產(chǎn)生的異常

l urllib.parse用來(lái)解析和處理URL

l urllib.robotparse用來(lái)解析頁(yè)面的robots.txt文件

1、urllib.request 模塊

urllib.request 模塊定義了以下幾個(gè)函數(shù)。

語(yǔ)法：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

意義：

該函數(shù)主要用于模擬網(wǎng)站請(qǐng)求，返回一個(gè) HTTPResponse 類型的對(duì)象。

2、urlopen 函數(shù)返回類型

urlopen 函數(shù)請(qǐng)求返回一個(gè) HTTPResponse 響應(yīng)上下文，或者請(qǐng)求異常拋出 URLError 協(xié)議錯(cuò)誤，一般有如下屬性：

l geturl()，返回檢索的 url，通常用于判定是否進(jìn)行了重定向。

l info()，返回網(wǎng)頁(yè)的頭信息。

l getcode()，返回 HTTPResponse 響應(yīng)的狀態(tài)碼。

3、urllib.error.URLError 異常

URLError 類繼承自 OSError 類，是 error 異常模塊的基類，由request模塊產(chǎn)生的異常都可以通過(guò)捕獲這個(gè)類來(lái)處理。URLError 只有一個(gè)屬性 reason，即返回錯(cuò)誤的原因。

應(yīng)用實(shí)例：

# 在請(qǐng)求連接時(shí)候捕獲網(wǎng)址錯(cuò)誤引發(fā)的異常
from urllib import request, error
try:
    response = request.urlopen('https://www,baidu,com')
except error.URLError as e:
print(e.reason)

4、urllib.parse 模塊

urllib.parse 模塊定義了一個(gè)處理 url 的標(biāo)準(zhǔn)接口，用來(lái)實(shí)現(xiàn) url 字符串的抽取、合并以及鏈接轉(zhuǎn)換。

5、urllib.robotparse 模塊

rebotparser 模塊提供了一個(gè) RobotFileParser 類，主要用來(lái)解析網(wǎng)站上發(fā)布的 robots.txt，然后根據(jù)解析內(nèi)容判斷爬蟲(chóng)是否有權(quán)限來(lái)爬取這個(gè)網(wǎng)頁(yè)。

以上是python urllib模塊的使用方法的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當(dāng)前標(biāo)題：pythonurllib模塊的使用方法
鏈接地址：http://muchs.cn/article26/gpphcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開(kāi)發(fā)、面包屑導(dǎo)航、靜態(tài)網(wǎng)站、網(wǎng)站營(yíng)銷、網(wǎng)站設(shè)計(jì)公司、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)