在windows下如何新建爬蟲虛擬環(huán)境和進行scrapy安裝-創(chuàng)新互聯(lián)

Scrapy是Python開發(fā)的一個快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點并從頁面中提取結構化的數(shù)據(jù)。Scrapy吸引人的地方在于它是一個框架，任何人都可以根據(jù)需求方便的修改。Scrapy用途廣泛，可以用于數(shù)據(jù)挖掘、監(jiān)測和自動化測試。

成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網綜合服務，包含不限于成都網站設計、成都做網站、宜都網絡推廣、微信小程序定制開發(fā)、宜都網絡營銷、宜都企業(yè)策劃、宜都品牌公關、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務，您的肯定，是我們大的嘉獎；成都創(chuàng)新互聯(lián)公司為所有大學生創(chuàng)業(yè)者提供宜都建站搭建服務，24小時服務熱線：028-86922220，官方網址：muchs.cn

1、關于虛擬環(huán)境的創(chuàng)建可以參考之前發(fā)布的兩篇博文，在Windows下如何創(chuàng)建指定的虛擬環(huán)境和在Windows下如何創(chuàng)建虛擬環(huán)境（默認情況下）。下面在指定的文件夾下，直接先創(chuàng)建環(huán)境，在命令行輸入環(huán)境創(chuàng)建命令“virtualenv --python=C:Python34python.exe scrapy_demo”，指定Python的版本和路徑，以及虛擬環(huán)境的名字scrapy_demo，其中虛擬環(huán)境可以自己進行修改，這里命名為scrapy_demo。

2、爾后進入到scrapy_demo文件夾下，找到Scripts文件夾，輸入activate.bat以激活虛擬環(huán)境，步驟如下圖所示。之后可以看到scrapy_demo被括號括起來了，說明進入了環(huán)境，在命令行中輸入python，可以看到直接彈出Python3的環(huán)境。

3、新建完虛擬環(huán)境之后，接下來就開始安裝Scrapy，輸入安裝命令“pip install Scrapy”或者“pip install -i https://pypi.douban.com/simple/ Scrapy”，后面這個命令是通過豆瓣源鏡像進行下載，速度會快很多，而且較為穩(wěn)定，建議使用該方法進行安裝，Python中的其他庫也建議用該命令進行安裝，十分的方便快捷。輸入命令之后，等待Scrapy的安裝，如下圖所示。

4、可以看到Scrapy的安裝速度非常快，因為我們使用了鏡像進行下載。不過稍等片刻之后可能會碰到timeout的問題，這是由于Scrapy安裝的過程中需要很多依賴包，導致下載過程中會遇到網絡延時的問題，此時只需要重新輸入安裝命令進行安裝即可。除了timeout的問題之外，可能還會碰到下圖這個問題。

5、這個問題的出現(xiàn)是因為缺乏Twisted依賴包，此時通過“pip install twisted”可能有問題，這里給大家介紹一個非常實用的Python包網站https://www.lfd.uci.edu/~gohlke/pythonlibs/，里邊的Python包專門用于Windows下的安裝的。在網頁中找到Twisted安裝包，然后選擇本機Python對應版本和電腦系統(tǒng)位數(shù)的安裝包，小編的電腦是64位的，而且Python版本是Python3.4，所以下載的包如下圖紅色框框所示。

6、下載完成之后，直接進入到下載的目錄，由此進入命令行窗口，輸入安裝命令“pip install Twisted-18.7.0-cp34-cp34m-win_amd64.whl”，一般是可以安裝上的，但是有時候會出現(xiàn)下面的錯誤提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”，表示該平臺不支持這個安裝包，如下圖所示。

7、此時不用慌，在這里小編給大家介紹一個小技巧，專門用來應對這樣的問題的。進入到Twisted-18.7.0-cp34-cp34m-win_amd64.whl安裝包目錄下，一般下載之后將其放到虛擬環(huán)境的site-packages文件夾下面，爾后將后綴.whl更改為.zip，有木有覺得很熟悉？對，它就是個壓縮文件，現(xiàn)在將壓縮包里邊的內容全部解壓到當前文件夾，如下圖所示。

8、之后在虛擬環(huán)境下輸入pip list命令查看安裝包，可以看到Twisted安裝包已經在里邊了，如下圖所示。第一個pip list命令的時候尚未解壓Twisted安裝包，此時并沒有Twisted庫；第二個pip list命令是在Twisted安裝包解壓之后執(zhí)行的，可以看到Twisted庫已經在里邊了。

9、爾后我們再次輸入Scrapy的安裝命令，“pip install -i https://pypi.douban.com/simple/Scrapy”，等待安裝完成，此時可以看到沒有任何的報錯了。

10、最后通過pip list查看Scrapy是否安裝成功，可以看到Scrapy已經在list之內了，如下圖所示。

至此，Scrapy的安裝已經順利完成。文中記錄的部分bug解決方法是很多小伙伴們都會遇到的問題，希望大家日后在安裝Scrapy的時候有章可循。最后，祝大家安裝Scrapy一切順利~~

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網站標題：在windows下如何新建爬蟲虛擬環(huán)境和進行scrapy安裝-創(chuàng)新互聯(lián)
文章轉載：http://muchs.cn/article6/degdig.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供自適應網站、品牌網站設計、App設計、網站制作、網站建設、商城網站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)