Python爬蟲之urllib基礎(chǔ)用法教程-創(chuàng)新互聯(lián)

綜述

成都服務(wù)器托管，成都創(chuàng)新互聯(lián)公司提供包括服務(wù)器租用、成都電信服務(wù)器托管、帶寬租用、云主機、機柜租用、主機租用托管、CDN網(wǎng)站加速、域名注冊等業(yè)務(wù)的一體化完整服務(wù)。電話咨詢：028-86922220

本系列文檔用于對Python爬蟲技術(shù)進行簡單的教程講解，鞏固自己技術(shù)知識的同時，萬一一不小心又正好對你有用那就更好了。

Python 版本是3.7.4

urllib庫介紹

它是 Python 內(nèi)置的HTTP請求庫，也就是說我們不需要額外安裝即可使用，它包含四個模塊(主要對前三個模塊進行學(xué)習(xí))：

request : 它是最基本的 HTTP 請求模塊，我們可以用它來模擬發(fā)送一請求，就像在瀏覽器里輸入網(wǎng)址然后敲擊回車一樣，只需要給庫方法傳入 URL 還有額外的參數(shù)，就可以模擬實現(xiàn)這個過程了。
error : 異常處理模塊，如果出現(xiàn)請求錯誤，我們可以捕獲這些異常，然后進行重試或其他操作保證程序不會意外終止。
parse : 用于解析URL，提供了許多URL處理方法，比如拆分、解析、合并等等的方法，以及對參數(shù)的拼接等待。
robotparser : 主要是用來識別網(wǎng)站的robots.txt協(xié)議文件，然后判斷網(wǎng)站的那些數(shù)據(jù)可以爬，哪些數(shù)據(jù)不可以爬的，其實用的比較少。

urllib.request 介紹

urlopen()

1.參數(shù)說明(僅寫了四個最常用的參數(shù))

url : 爬取目標的URL；
data : 請求參數(shù)，如果設(shè)置該參數(shù)，則請求默認為post請求；沒有默認為get請求；
timeout : 用于設(shè)置超時時間，單位為秒；
context : 必須是一個ssl.SSLContext類型,用來指定SSL設(shè)置,忽略未認證的CA證書;

2.具體用法

GET 請求方式

# 導(dǎo)入urllib庫
import urllib.request
 
 # 向指定的url發(fā)送請求，并返回服務(wù)器響應(yīng)的類文件對象
 url = "http://www.baidu.com"
 response = urllib.request.urlopen(url=url)
 print(type(response))
 
 # 類文件對象支持文件對象的操作方法，如read()方法讀取文件全部內(nèi)容，返回字符串
 html = response.read()
 # html = response.readline() # 讀取一行
 # html = response.readlines() # 讀取多行，返回列表
 # 打印響應(yīng)結(jié)果（byte類型）
 print(html)
 # 打印響應(yīng)結(jié)果（utf-8類型）
 # 二進制和字符串之間的相互轉(zhuǎn)碼使用 encode() 和 decode() 函數(shù)
 # encode() 和 decode() 可帶參數(shù)，不寫默認utf-8，其他不再特別說明
 print(html.decode())
 # 打印狀態(tài)碼
 # print(response.get_code())
 print(response.status)
 # 獲取響應(yīng)頭
 print(response.getheaders())
 # 獲取響應(yīng)頭Server信息
 print(response.getheader('Server'))
 # 獲取響應(yīng)結(jié)果原因
 print(response.reason)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

文章名稱：Python爬蟲之urllib基礎(chǔ)用法教程-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://muchs.cn/article6/dpicig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營銷推廣、建站公司、網(wǎng)站收錄、網(wǎng)站建設(shè)、Google、網(wǎng)站設(shè)計

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容