python爬蟲使用request庫發(fā)送get請求的示例

這篇文章主要介紹python爬蟲使用request庫發(fā)送get請求的示例，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

成都創(chuàng)新互聯(lián)公司是專業(yè)的棲霞網(wǎng)站建設公司，棲霞接單;提供成都網(wǎng)站制作、網(wǎng)站設計、外貿網(wǎng)站建設,網(wǎng)頁設計,網(wǎng)站設計,建網(wǎng)站,PHP網(wǎng)站建設等專業(yè)做網(wǎng)站服務;采用PHP框架,可快速的進行棲霞網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

python是什么意思

Python是一種跨平臺的、具有解釋性、編譯性、互動性和面向對象的腳本語言，其最初的設計是用于編寫自動化腳本，隨著版本的不斷更新和新功能的添加，常用于用于開發(fā)獨立的項目和大型項目。

python爬蟲中使用request庫會比urllib庫更加?便，request庫可以節(jié)約我們?量的?作，完全滿?HTTP測試需求。那你python爬蟲如何使用request庫發(fā)送get請求嗎？

方法一：通過requests.get來調用（最簡單）

語法格式

response = requests.get("URL")

實例

import requests
response=requests.get("http://www.baidu.com/")
#查看響應內容 response.text返回的是Unicode格式的數(shù)據(jù)
#print(response.text)
#查看響應內容,response.content返阿的字節(jié)濾數(shù)據(jù)
print(response.content)
print(response.content.decode('utf-8'))
#查看完整URL
print(response.url)
print(response.encoding)
print(response.status_code)

方法二：添加headers和查詢參數(shù):

如果想添加headers，可以傳入headers參數(shù)來增加請求頭中的headers信息。如果要將參數(shù)放在url中傳遞，可以利用params參數(shù)。相關示例代碼如下:

import requests
 
params={
    'wd':'迪麗熱巴'
}
 
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
    Chrome/88.0.4324.150 Safari/537.36'
}
 
#這里加上cookie才能進行正常訪問，還有說明一點這里的cookie是進入職位詳情之后的cookie
 
response=requests.get("http://www.baidu.com/s",params=params,headers=headers)
#print(type(response.json()))
print(response.url)

補充：response.text和response.content的區(qū)別:

1、response.content:這個是直接從網(wǎng)絡上面抓取的數(shù)據(jù)。沒有經(jīng)過任何解碼。所以是一個bytes類型。其實在硬盤上和在網(wǎng)絡上傳輸?shù)淖址际莃ytes類型。

2、response.text:這個是str的數(shù)據(jù)類型，是requests庫將response.content進行解碼的字符串。解碼需要指定一個編碼方式，requests會根據(jù)自己的猜測來判斷編碼的方式。所以有時候可能會猜測錯誤,就會導致解碼產生亂碼。這時候就應該使用response-content.decode( "utf-8")`進行手動解碼。

以上是“python爬蟲使用request庫發(fā)送get請求的示例”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當前文章：python爬蟲使用request庫發(fā)送get請求的示例
當前鏈接：http://muchs.cn/article46/ipjchg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設、網(wǎng)站改版、移動網(wǎng)站建設、網(wǎng)站制作、、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)