python爬蟲中urllib庫代理的設(shè)置方法

這篇文章給大家分享的是有關(guān)python爬蟲中urllib庫代理的設(shè)置方法的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過來看看吧。

崗巴ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18980820575（備注：SSL證書合作）期待與您的合作！

關(guān)于urllib庫

urllib 庫一般使用 ProxyHandler 設(shè)置代理，參數(shù)是字典類型，鍵名是協(xié)議。

urllib代理設(shè)置代碼如下

from urllib.error import URLError
from urllib.request import ProxyHandler
from urllib.request import build_opener
 
# 通過ProxyHandler來設(shè)置代理服務(wù)器，參數(shù)為字典類型，鍵名為協(xié)議，鍵值為代理
proxy_handler = ProxyHandler({"http": "http://113.120.33.75:9999",
                              "https":"https://120.83.99.72:9999"})
 
# 創(chuàng)建一個(gè)opener對(duì)象，比openurl多了一個(gè)header
opener = build_opener(proxy_handler)
try:
    # 通過opener對(duì)象打開url
    response = opener.open("http://httpbin.org/get")
    print(response.read().decode("utf-8"))
except URLError as e:
print(e.reason)

結(jié)果會(huì)出現(xiàn)兩種情況

[WinError 10061] 由于目標(biāo)計(jì)算機(jī)積極拒絕，無法連接。
解決方法：主要是代理不可用，更換代理就行

[WinError 10060] 由于連接方在一段時(shí)間后沒有正確答復(fù)或連接的主機(jī)沒有反應(yīng)，連接嘗試失敗。  

解決方法：將瀏覽器的代理設(shè)置中的局域網(wǎng)設(shè)置，里面的自動(dòng)配置腳本選項(xiàng)改為自動(dòng)檢測(cè)設(shè)置即可。

運(yùn)行結(jié)果如下，可以看到origin已經(jīng)改成了代理IP

{
  "args": {},
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Host": "httpbin.org",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
  },
  "origin": "113.120.33.75, 113.120.33.75",
  "url": "https://httpbin.org/get"
}

感謝各位的閱讀！關(guān)于python爬蟲中urllib庫代理的設(shè)置方法就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

當(dāng)前文章：python爬蟲中urllib庫代理的設(shè)置方法
網(wǎng)址分享：http://muchs.cn/article4/gphgoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、網(wǎng)站改版、域名注冊(cè)、微信小程序、手機(jī)網(wǎng)站建設(shè)、

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)