用python爬取網(wǎng)頁文字的方法

這篇文章將為大家詳細(xì)講解有關(guān)用python爬取網(wǎng)頁文字的方法，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)是一家專注于成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)與策劃設(shè)計(jì),吳橋網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:吳橋等地區(qū)。吳橋做網(wǎng)站價(jià)格咨詢:13518219792

用Python進(jìn)行爬取網(wǎng)頁文字的代碼：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import requests
import re
# 下載一個(gè)網(wǎng)頁
url = 'https://www.biquge.tw/75_75273/3900155.html'
# 模擬瀏覽器發(fā)送http請(qǐng)求
response = requests.get(url)
# 編碼方式
response.encoding='utf-8'
# 目標(biāo)小說主頁的網(wǎng)頁源碼
html = response.text
print(html)

1、編寫爬蟲思路：

確定下載目標(biāo)，找到網(wǎng)頁，找到網(wǎng)頁中需要的內(nèi)容。對(duì)數(shù)據(jù)進(jìn)行處理。保存數(shù)據(jù)。

2、知識(shí)點(diǎn)說明：

1）確定網(wǎng)絡(luò)中需要的信息，打開網(wǎng)頁后使用F12打開開發(fā)者模式。

在Network中可以看到很多信息，我們在頁面上看到的文字信息都保存在一個(gè)html文件中。點(diǎn)擊文件后可以看到response，文字信息都包含在response中。

對(duì)于需要輸入的信息，可以使用ctrl+f，進(jìn)行搜索。查看信息前后包含哪些特定字段。

對(duì)于超鏈接的提取，可以使用最左邊的箭頭點(diǎn)擊超鏈接，這時(shí)Elements會(huì)打開有該條超鏈接的信息，從中判斷需要提取的信息。從下載小說來看，在目錄頁提取出小說的鏈接和章節(jié)名。

2）注意編碼格式

輸入字符集一定要設(shè)置成utf-8。頁面大多為GBK字符集。不設(shè)置會(huì)亂碼。

關(guān)于用python爬取網(wǎng)頁文字的方法就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

當(dāng)前名稱：用python爬取網(wǎng)頁文字的方法
瀏覽路徑：http://muchs.cn/article46/ihjehg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設(shè)、搜索引擎優(yōu)化、Google、網(wǎng)站營銷、電子商務(wù)、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)