這期內(nèi)容當中小編將會給大家?guī)碛嘘P(guān)使用python cookie實現(xiàn)反爬處理,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
成都創(chuàng)新互聯(lián)公司堅持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都做網(wǎng)站、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時代的上栗網(wǎng)站設(shè)計、移動媒體設(shè)計的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!Cookies的處理
作用
保存客戶端的相關(guān)狀態(tài)
在爬蟲中如果遇到了cookie的反爬如何處理?
手動處理
在抓包工具中捕獲cookie,將其封裝在headers中
應(yīng)用場景:cookie沒有有效時長且不是動態(tài)變化
自動處理
使用session機制
使用場景:動態(tài)變化的cookie
session對象:該對象和requests模塊用法幾乎一致.如果在請求的過程中產(chǎn)生了cookie,如果該請求使用session發(fā)起的,則cookie會被自動存儲到session中.
案例
爬取雪球網(wǎng)中的新聞資訊數(shù)據(jù):https://xueqiu.com/
#獲取一個session對象 import requests headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36' } session = requests.Session() main_url = 'https://xueqiu.com' #推測對該url發(fā)起請求會產(chǎn)生cookie session.get(main_url,headers=headers) url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json' params = { 'since_id': '-1', 'max_id': '20346152', 'count': '15', 'category': '-1', } page_text = session.get(url,headers=headers,params=params).json() page_text
名稱欄目:使用pythoncookie實現(xiàn)反爬處理-創(chuàng)新互聯(lián)
鏈接地址:http://muchs.cn/article0/ddpcio.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站內(nèi)鏈、微信公眾號、網(wǎng)頁設(shè)計公司、企業(yè)網(wǎng)站制作、虛擬主機、用戶體驗
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容