python爬蟲怎么利用requests制作代理池s-創(chuàng)新互聯(lián)

本篇內(nèi)容介紹了“python爬蟲怎么利用requests制作代理池s”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),郯城企業(yè)網(wǎng)站建設(shè),郯城品牌網(wǎng)站建設(shè),網(wǎng)站定制,郯城網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,郯城網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。

　　爬取代理然后驗證代理，將可用代理放入txt文件。

　　import requests

　　from scrapy import Selector

　　start_url = '/tupian/20230522/index_1.html&　　url = '/tupian/20230522/index_{}.html&　　headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}

　　class MyProxy(object):

　　def GetPage(self,url):#頁面源碼獲取

　　response = requests.get(url=url,headers=headers)

　　text = response.text

　　return text

　　def GetInfo(self,text):#頁面信息獲取

　　selector = Selector(text=text)

　　FindTable = selector.xpath('//div[@class="layui-form"]/table/tbody/tr')

　　for proxy in FindTable:

　　ip = "".join(proxy.xpath('.//td[1]/text()').get()).replace('\t','').replace('\n','')

　　port = "".join(proxy.xpath('.//td[2]/text()').get()).replace('\t','').replace('\n','')

　　print(ip,port)

　　self.TestIP(ip,port)

　　def TabPage(self,text):#切換頁面

　　selector = Selector(text=text)

　　page = selector.xpath('//*[@id="layui-laypage-1"]/a[8]/@data-page').get()

　　self.new_url = url.format(page)

　　def TestIP(self,ip,port):

　　try:

　　response = requests.get(url='https://www.baidu.com/',headers=headers,proxies={"http":"{}:{}".format(ip,port)})

　　print(response.status_code)

　　if response.status_code<200 or response.status_code>200:

　　print("訪問失敗")

　　else:鄭州人流醫(yī)院哪家好 http://mobile.zyyyzz.com/

　　self.file = open('proxy.txt', 'a+')

　　self.file.write('{}:{}\n'.format(ip,port))

　　self.file.close()

　　except Exception as e:

　　print("訪問失敗")

　　def close(self):

　　self.file.close()

　　mypoxy = MyProxy()

　　text = mypoxy.GetPage(start_url)

　　while True:

　　try:

　　mypoxy.GetInfo(text)

　　mypoxy.GetPage(text)

　　text = mypoxy.GetPage(mypoxy.new_url)

　　except Exception as e:

　　print('**'*10)

　　# mypoxy.close()

“python爬蟲怎么利用requests制作代理池s”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！

文章名稱：python爬蟲怎么利用requests制作代理池s-創(chuàng)新互聯(lián)
網(wǎng)頁地址：http://muchs.cn/article0/dcpoio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、關(guān)鍵詞優(yōu)化、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站營銷、做網(wǎng)站、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

成都網(wǎng)頁設(shè)計公司