python爬蟲中如何使用header-創(chuàng)新互聯(lián)

這篇文章主要介紹python爬蟲中如何使用header，文中介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們一定要看完！

創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都做網(wǎng)站、網(wǎng)站設(shè)計、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的古雷港網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

headers是解決requests請求反爬的方法之一，相當(dāng)于我們進(jìn)去這個網(wǎng)頁的服務(wù)器本身，假裝自己本身在爬取數(shù)據(jù)。

對反爬蟲網(wǎng)頁，可以設(shè)置一些headers信息，模擬成瀏覽器取訪問網(wǎng)站 。

谷歌或者火狐瀏覽器，在網(wǎng)頁面上點擊：右鍵–檢查；點擊更多工具-開發(fā)者工具；直接F12亦可。然后再按Fn+F5刷新出網(wǎng)頁來顯示元素

有的瀏覽器是點擊：右鍵->查看元素，刷新

注意：headers中有很多內(nèi)容，主要常用的就是user-agent 和 host，他們是以鍵對的形式展現(xiàn)出來，如果user-agent 以字典鍵對形式作為headers的內(nèi)容，就可以反爬成功，就不需要其他鍵對；否則，需要加入headers下的更多鍵對形式。

import urllib2
import urllib
values={"username":"xxxx","password":"xxxxx"}
data=urllib.urlencode(values)
url= "https://ssl.gstatic.com/gb/images/v2_730ffe61.png"
user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
referer='http://www.google.com/'
headers={"User-Agent":user_agent,'Referer':referer}
request=urllib2.Request(url,data,headers)
response=urllib2.urlopen(request)
print response.read()

以上是“python爬蟲中如何使用header”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

分享題目：python爬蟲中如何使用header-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://muchs.cn/article46/cspdhg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計、網(wǎng)站制作、品牌網(wǎng)站建設(shè)、云服務(wù)器、App開發(fā)、網(wǎng)站設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)