Python爬蟲中設置代理的方法-創(chuàng)新互聯(lián)

小編給大家分享一下Python爬蟲中設置代理的方法，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

發(fā)展壯大離不開廣大客戶長期以來的信賴與支持，我們將始終秉承“誠信為本、服務至上”的服務理念，堅持“二合一”的優(yōu)良服務模式，真誠服務每家企業(yè)，認真做好每個細節(jié)，不斷完善自我，成就企業(yè)，實現(xiàn)共贏。行業(yè)涉及成都攪拌罐車等，在成都網(wǎng)站建設、成都營銷網(wǎng)站建設、WAP手機網(wǎng)站、VI設計、軟件開發(fā)等項目上具有豐富的設計經(jīng)驗。

urllib2 默認會使用環(huán)境變量 http_proxy 來設置 HTTP Proxy。假如一個網(wǎng)站它會檢測某一段時間某個 IP 的訪問次數(shù)，如果訪問次數(shù)過多，它會禁止你的訪問。所以你可以設置一些代理服務器來幫助你做工作，每隔一段時間換一個代理，網(wǎng)站君都不知道是誰在搗鬼了，這酸爽！ 下面一段代碼說明了代理的設置用法

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

拓展：Timeout 設置

上一節(jié)已經(jīng)說過 urlopen 方法了，第三個參數(shù)就是 timeout 的設置，可以設置等待多久超時，為了解決一些網(wǎng)站實在響應過慢而造成的影響。 例如下面的代碼，如果第二個參數(shù) data 為空那么要特別指定是 timeout 是多少，寫明形參，如果 data 已經(jīng)傳入，則不必聲明。

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)

import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)

看完了這篇文章，相信你對Python爬蟲中設置代理的方法有了一定的了解，想了解更多相關知識，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

分享標題：Python爬蟲中設置代理的方法-創(chuàng)新互聯(lián)
文章分享：http://muchs.cn/article26/dgiocg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、靜態(tài)網(wǎng)站、Google、響應式網(wǎng)站、手機網(wǎng)站建設、外貿(mào)網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)