python爬蟲相關(guān)庫的安裝配置

這篇文章給大家分享的是python爬蟲相關(guān)庫的詳細安裝教程，相信大部分人都還不知道怎么安裝，為了讓大家學會，給大家總結(jié)了以下內(nèi)容，話不多說，一起往下看吧。

創(chuàng)新互聯(lián)專注于網(wǎng)站建設(shè)|網(wǎng)站維護|優(yōu)化|托管以及網(wǎng)絡(luò)推廣，積累了大量的網(wǎng)站設(shè)計與制作經(jīng)驗，為許多企業(yè)提供了網(wǎng)站定制設(shè)計服務(wù)，案例作品覆蓋成都衛(wèi)生間隔斷等行業(yè)。能根據(jù)企業(yè)所處的行業(yè)與銷售的產(chǎn)品，結(jié)合品牌形象的塑造，量身策劃品質(zhì)網(wǎng)站。

世界上80%的爬蟲是基于Python開發(fā)的，學好爬蟲技能，可為后續(xù)的大數(shù)據(jù)分析、挖掘、機器學習等提供重要的數(shù)據(jù)源。

python爬蟲需要安裝相關(guān)庫：

python爬蟲涉及的庫：

請求庫，解析庫，存儲庫，工具庫

1. 請求庫：urllib/re/requests

（1） urllib/re是python默認自帶的庫，可以通過以下命令進行驗證：

python爬蟲相關(guān)庫的安裝配置

沒有報錯信息輸出，說明環(huán)境正常

（2） requests安裝

2.1 打開CMD，輸入

pip3 install requests

2.2 等待安裝后，驗證

python爬蟲相關(guān)庫的安裝配置

（3） selenium安裝（驅(qū)動瀏覽器進行網(wǎng)站訪問行為）

3.1 打開CMD，輸入

pip3 install selenium

3.2 安裝chromedriver

網(wǎng)址：https://npm.taobao.org/

把下載完成后的壓縮包解壓，把exe放到D:\Python3.6.0\Scripts\

這個路徑只要在PATH變量中就可以

3.3 等待安裝完成后，驗證

python爬蟲相關(guān)庫的安裝配置

回車后彈出chrome瀏覽器界面

3.4 安裝其他瀏覽器

無界面瀏覽器phantomjs

下載網(wǎng)址：http://phantomjs.org/

下載完成后解壓，把整個目錄放到D:\Python3.6.0\Scripts\，把bin目錄的路徑添加到PATH變量

驗證：

打開CMD

phantomjs
console.log('phantomjs')

CTRL+C

python
from selenium import webdriver
driver = webdriver.PhantomJS()
dirver.get('http://www.baidu.com')
driver.page_source

2. 解析庫：

2.1 lxml (XPATH)

打開CMD

pip3 install lxml

或者從https://pypi.python.org下載，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下載whl文件

pip3 install 文件名.whl

2.2 beautifulsoup

打開CMD，需要先安裝好lxml

pip3 install beautifulsoup4

驗證

python
from bs4 import BeautifulSoup
soup = BeautifulSoup('<html></html>','lxml')

2.3 pyquery（類似jquery語法）

打開CMD

pip3 install pyquery

驗證安裝結(jié)果

python
from pyquery import PyQuery as pq
doc = pq('<html>hi</html>')
result = doc('html').text()
result

python爬蟲相關(guān)庫的安裝配置

3. 存儲庫

3.1 pyMySQL（操作MySQL，關(guān)系型數(shù)據(jù)庫）

安裝：

pip3 install pymysql

安裝后測試：

python爬蟲相關(guān)庫的安裝配置

3.2 pymongo（操作MongoDB，key-value）

安裝

pip3 install pymongo

驗證

python
import pymongo
client = pymongo.MongoClient('localhost')
db = client['testdb']
db['table'].insert({'name':'bob'})
db['table'].find_one({'name':'bob'})

python爬蟲相關(guān)庫的安裝配置

3.3 redis（分布式爬蟲，維護爬取隊列）

安裝：

pip3 install redis

驗證：

python爬蟲相關(guān)庫的安裝配置

4.工具庫

4.1 flask（WEB庫）

pip3 install flask

python爬蟲相關(guān)庫的安裝配置

4.2 Django（分布式爬蟲維護系統(tǒng)）

pip3 install django

4.3 jupyter（運行在網(wǎng)頁端的記事本，支持markdown，可以在網(wǎng)頁上運行代碼）

pip3 install jupyter

驗證：

打開CMD

jupyter notebook

之后就可以在網(wǎng)頁直接創(chuàng)建記事本，代碼塊和Markdown塊，支持打印

以上就是python爬蟲相關(guān)庫安裝配置的詳細內(nèi)容了，看完之后是否有所收獲呢？如果想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊！

網(wǎng)站名稱：python爬蟲相關(guān)庫的安裝配置
本文鏈接：http://muchs.cn/article4/pipsie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、用戶體驗、微信小程序、軟件開發(fā)、網(wǎng)站設(shè)計、網(wǎng)站營銷

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容