在settings.py文件中加入如下代碼即可(USER_AGENT是固定寫法),具體使用什么agent可以自己更改下面藍(lán)色字體內(nèi)容。
創(chuàng)新互聯(lián)建站主營(yíng)張家口網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,重慶App定制開發(fā),張家口h5小程序定制開發(fā)搭建,張家口網(wǎng)站營(yíng)銷推廣歡迎張家口等地區(qū)企業(yè)咨詢USER_AGENT = 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)
在settings.py文件中通過創(chuàng)建一個(gè)agent列表,然后通過從中隨機(jī)取出1個(gè)賦值給USER_AGENT變量即可
代碼如下:
import random
UserAgentList = [
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
"Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
]
USER_AGENT = random.choice(UserAgentList)
在settings.py文件中加入如下代碼:
from fake_useragent import UserAgent
ua = UserAgent()
USER_AGENT = ua.random
在setting.py文件中寫一個(gè)UserAgentList列表
UserAgentList = [
'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1500.55 Safari/537.36',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17'
]
在setting.py文件中啟用DOWNLOADER_MIDDLEWARES,并且把默認(rèn)的注釋掉
DOWNLOADER_MIDDLEWARES = {
#'amazon.middlewares.MyCustomDownloaderMiddleware': 543,
'amazon.middlewares.MyUserAgentMiddleware': 543,
}
在middlewares.py文件中增加以下代碼:
rom scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
from amazon.settings import UserAgentList
import random
class MyUserAgentMiddleware(UserAgentMiddleware):
def __init__(self, user_agent=''):
self.user_agent = user_agent
def process_request(self, request, spider):
agent = random.choice(list(UserAgentList))
request.headers['User-Agent'] = agent
安裝fake-useragent庫(kù)(useragent的庫(kù))
pip install fake-useragent
在middlewares.py文件中導(dǎo)入fake-useragent庫(kù)
from fake_useragent import UserAgent
在middlewares.py文件中編寫一個(gè)middleware中間件,
from fake_useragent import UserAgent
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
class MyUserAgentMiddleware(UserAgentMiddleware):
def __init__(self, user_agent=''):
self.user_agent = user_agent
def process_request(self, request, spider):
ua = UserAgent()
request.headers['User-Agent'] = ua.random
在setting.py文件中啟用DOWNLOADER_MIDDLEWARES,并且把默認(rèn)的注釋掉
DOWNLOADER_MIDDLEWARES = {
#'amazon.middlewares.MyCustomDownloaderMiddleware': 543,
'amazon.middlewares.MyUserAgentMiddleware': 543,
}
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
當(dāng)前標(biāo)題:scrapy隨機(jī)更改User-Agent方法-創(chuàng)新互聯(lián)
網(wǎng)站網(wǎng)址:http://muchs.cn/article2/cddgic.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站排名、微信公眾號(hào)、虛擬主機(jī)、面包屑導(dǎo)航、App開發(fā)、云服務(wù)器
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容