如何在scrapy請求異常之后再設(shè)置代理IP

我們都知道 scrapy 可以設(shè)置代理 IP，但是不知道大家有沒有遇到這樣一個場景：

常規(guī)的代理 IP 設(shè)置，會對每個請求都生效，也就是說每個請求都會去使用代理

但是有些請求根本不需要代理，我希望當(dāng)我的請求出現(xiàn)錯誤或超時的時候再去設(shè)置代理 IP

這樣既節(jié)省了資源，又縮短了請求的時間，畢竟有些代理質(zhì)量真的一言難盡

那么怎么才能讓它請求超時的時候，再使用代理 IP 進(jìn)行重新請求呢？

很容易就想到下載中間件，DowmloaderMiddleware

一個介于 request, response 中間的鉤子,用于修改 request 和處理 response

首先我們需要捕獲超時等異常的請求，在下載中間件中添加如下代碼：

from twisted.internet.error import TCPTimedOutError, TimeoutError

def process_exception(self, request, exception, spider):
        if isinstance(exception, TimeoutError):
            self.process_request_back(request, spider)  # 連接超時才啟用代理ip機(jī)制
            return request

        elif isinstance(exception, TCPTimedOutError):
            self.process_request_back(request, spider)
            return request

以上代碼的作用就是捕獲異常請求，同時調(diào)用設(shè)置代理 IP 的函數(shù)，并返回該請求

下面的設(shè)置 IP 的代碼

def process_request_back(self, request, spider):
        request.meta["proxy"] = xun.proxy
        request.headers["Proxy-Authorization"] = xun.headers

注意不能使用 process_request() 方法, 如果代理添加在該方法下，就是常規(guī)的代理 IP 方法

同時對于 scrapy 出現(xiàn) TimeoutError，TCPTimedOutError 等異常的時候，還可以通過以下幾種方案來解決：

主要通過設(shè)置文件來更改

1、降低同時請求的數(shù)量

CONCURRENT_REQUESTS = 5

2、 增加超時時間

DOWNLOAD_TIMEOUT = 300

3、 增加異常重試次數(shù)

RETRY_TIMES = 5