創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商,新人活動買多久送多久,劃算不套路!
成都創(chuàng)新互聯(lián)長期為1000多家客戶提供的網(wǎng)站建設(shè)服務(wù),團(tuán)隊從業(yè)經(jīng)驗10年,關(guān)注不同地域、不同群體,并針對不同對象提供差異化的產(chǎn)品和服務(wù);打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為項城企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計、網(wǎng)站制作、外貿(mào)營銷網(wǎng)站建設(shè),項城網(wǎng)站改版等技術(shù)服務(wù)。擁有10年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。小編給大家分享一下Python爬蟲常用庫如何安裝及其環(huán)境配置,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
Python常用庫的安裝
urllib、re 這兩個庫是Python的內(nèi)置庫,直接使用方法import導(dǎo)入即可。
requests 這個庫是請求的庫。我們需要使用執(zhí)行文件pip3來進(jìn)行安裝。文件處于C:\Python36\Scripts下,我們可以先將此路徑設(shè)為環(huán)境變量。在命令行中輸入pip3 install requests進(jìn)行安裝。安裝完成后進(jìn)行驗證。
>>> import requests >>> requests.get('http://www.baidu.com') <Response [200]>
selenium 實際上是用來瀏覽器的一個庫,做爬蟲時可能會碰到使用JS渲染的網(wǎng)頁,使用requests來請求時,可能無法正常獲取內(nèi)容,我們使用selenium可以驅(qū)動瀏覽器獲得渲染后的頁面。也是使用pip3 install selenium安裝。進(jìn)行驗證。
>>> import selenium >>> from selenium import webdriver >>> driver = webdriver.Chrome() DevTools listening on ws://127.0.0.1:60980/devtools/browser/7c2cf211-1a8e-41ea-8e4a-c97356c98910 >>> driver.get('http://www.baidu.com')
上述命令可以直接打開chrome瀏覽器,并且打開百度。但是,在這之前我們必須安裝一個chromedriver,并且安裝googlchrome瀏覽器,可自行去官網(wǎng)下載。當(dāng)我們安裝完畢后再運行這些測試代碼可能依舊會出現(xiàn)一閃而退的情況,那么問題出在,chrome和chromdriver的版本不兼容,可以在官網(wǎng)下載chrome更高的版本,或者chromedriver更低的版本,但是只要都是最高版本就沒問題。
phantomjs 是一個無界面瀏覽器,在后臺運行。可在官網(wǎng)自行下載。并且需要將phantomjs.exe 的所在目錄設(shè)為環(huán)境變量。測試代碼。
>>> from selenium import webdriver >>> driver = webdriver.PhantomJS() >>> driver.get('http://www.baidu.com') >>> driver.page_source '<!DOCTYPE html><!--STATUS OK--><html><head>\n
lxml 使用pip3 install lxml安裝。
beautifulsoup 是一個網(wǎng)絡(luò)解析庫,依賴于lxml庫。使用pip3安裝。必須安裝pip3 install beautifulsoup4,因為beautifulsoup已經(jīng)停止維護(hù)了。安裝驗證。
>>> from bs4 import BeautifulSoup >>> soup = BeautifulSoup('<html></html>','lxml') >>>
pyquery 也是網(wǎng)頁解析庫,較bs4更加方便,語法和Jquery無異。也是使用pip3 安裝。
>>> from pyquery import PyQuery as pq #將其重命名 >>> doc = pq('<html></html>') >>> doc = pq('<html>hello world</html>') >>> result = doc('html').text() >>> result 'hello world'
pymysql 是一個操作mysql數(shù)據(jù)庫的庫。使用pip3 安裝。
>>> import pymysql >>> conn = pymysql.connect(host='localhost',user='root',password = '123456',port=3306,db='mysql') >>> cursor = conn.cursor() >>> cursor.execute('select * from db') 0
pymongo 操作數(shù)據(jù)庫MongoDB的庫。需要開啟MongoDB服務(wù),在計算機(jī)管理當(dāng)中的服務(wù)尋找。也是使用pip3安裝。
>>> import pymongo >>> client = pymongo.MongoClient('localhost') >>> db = client['newtestdb'] >>> db['table'].insert({'name':'tom'}) ObjectId('5b868ee4c4d17a0b2466f748') >>> db['table'].find_one({'name':'tom'}) {'_id': ObjectId('5b868ee4c4d17a0b2466f748'), 'name': 'tom'} >>> #完成了單條數(shù)據(jù)的查詢
redis 一個非關(guān)系型數(shù)據(jù)庫,運行效率高。使用pip3 install redis安裝。
>>> import redis >>> r = redis.Redis ('localhost',6379) >>> r.set('name','tom') True >>> r.get('name') b'tom' >>> #是一個byte型數(shù)據(jù)類型
flask 做代理時可能會用到。使用pip3 安裝。詳細(xì)內(nèi)容可以在flask官網(wǎng)查看flask文檔。
django 是一個web服務(wù)器框架,提供了一個完整的后臺管理,引擎、接口等,可以使用它做一個完整的網(wǎng)站??稍赿jango的官網(wǎng)查看文檔。使用pip3 install django安裝。
jupyter 可以理解為一個記事本,運行哎網(wǎng)頁端,可以進(jìn)行寫代碼,調(diào)試,運行。在官網(wǎng)可以下載jupyter,也可以用pip3 安裝,相關(guān)庫非常多,安裝比較久。安裝后可以在命令行直接運行jupyter notebook,因為此文件在scrips目錄下。
C:\Users\dell>jupyter notebook [I 20:32:37.552 NotebookApp] The port 8888 is already in use, trying another port. [I 20:32:37.703 NotebookApp] Serving notebooks from local directory: C:\Users\dell
可以在選項 new 中建立新python3文件,并且可以編寫代碼。
默認(rèn)的文件名為unite,此處將其改為testDemo,使用快捷鍵ctrl+回車 運行,按鍵B跳轉(zhuǎn)至新的編輯行。
以上是Python爬蟲常用庫如何安裝及其環(huán)境配置的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道!
本文標(biāo)題:Python爬蟲常用庫如何安裝及其環(huán)境配置-創(chuàng)新互聯(lián)
本文URL:http://muchs.cn/article0/ceddio.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站收錄、動態(tài)網(wǎng)站、企業(yè)建站、響應(yīng)式網(wǎng)站、關(guān)鍵詞優(yōu)化、網(wǎng)站策劃
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容