這篇文章主要介紹python如何構建爬蟲,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
成都創(chuàng)新互聯(lián)公司于2013年成立,先為新縣等服務建站,新縣等地企業(yè),進行企業(yè)商務咨詢服務。為新縣企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務解決您的所有建站問題。爬蟲具有域名切換、信息收集以及信息存儲功能。
這里講述如何構建基礎的爬蟲架構。
1、
urllib庫:包含從網(wǎng)絡請求數(shù)據(jù)、處理cookie、改變請求頭和用戶處理元數(shù)據(jù)的函數(shù)。是python標準庫.urlopen用于打開讀取一個從網(wǎng)絡獲取的遠程對象。能輕松讀取HTML文件、圖像文件及其他文件流。
2、
beautifulsoup庫:通過定位HTML標簽格式化和組織復雜的網(wǎng)絡信息,用python對象展現(xiàn)XML結構信息。不是標準庫,可用pip安裝。常用的對象是BeautifulSoup對象。
1、基礎爬蟲
爬蟲需要首先import對象,然后打開網(wǎng)址,使用BeautifulSoup對網(wǎng)頁內容進行讀取。
2、使用print輸出打開的網(wǎng)址的內容。
3、從輸出中可以看出內容的結構為:
4、輸出內容中的html-body-h2的內容可使用四種語句。
5、
BeautifulSoup可提取HTML、XML文件的任意節(jié)點的信息,只需要目標信息旁邊或附近有標記。
1、Error
在運行代碼時,經(jīng)常會出現(xiàn)錯誤,看懂錯誤出現(xiàn)的原因才能解決存在的問題。
2、
在html=urlopen('')中會發(fā)生兩種錯誤:網(wǎng)頁在服務器上不存在或服務器不存在
。
3、網(wǎng)頁在服務器上不存在會出現(xiàn)HTTPError,可使用try語句進行處理。
當程序返回HTTPError錯誤代碼時,會顯示錯誤內容。
4、服務器不存在時,urlopen會返回None.
可使用判斷語句進行檢測。
調用的標簽不存在會出現(xiàn)None,調用不存在的標簽下的子標簽,就會出現(xiàn)AttributeError錯誤。
以上是“python如何構建爬蟲”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道!
本文題目:python如何構建爬蟲-創(chuàng)新互聯(lián)
文章URL:http://muchs.cn/article38/cdgosp.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供全網(wǎng)營銷推廣、App設計、網(wǎng)站內鏈、軟件開發(fā)、動態(tài)網(wǎng)站、手機網(wǎng)站建設
聲明:本網(wǎng)站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)