如何用python抓取js生成的頁面-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商，新人活動買多久送多久，劃算不套路！

成都創(chuàng)新互聯(lián)長期為超過千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為貴德企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計、成都做網(wǎng)站，貴德網(wǎng)站改版等技術(shù)服務(wù)。擁有十載豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

這篇文章將為大家詳細講解有關(guān)如何用python抓取js生成的頁面，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

之前我們爬取的網(wǎng)頁，多是HTML靜態(tài)生成的內(nèi)容，直接從HTML源碼中就能找到看到的數(shù)據(jù)和內(nèi)容，然而并不是所有的網(wǎng)頁都是這樣的。

有一些網(wǎng)站的內(nèi)容由前端的JS動態(tài)生成，由于呈現(xiàn)在網(wǎng)頁上的內(nèi)容是由JS生成而來，我們能夠在瀏覽器上看得到，但是在HTML源碼中卻發(fā)現(xiàn)不了。比如今日頭條：

瀏覽器呈現(xiàn)的網(wǎng)頁是這樣的：

查看源碼，卻是這樣的：

網(wǎng)頁的新聞在HTML源碼中一條都找不到，全是由JS動態(tài)生成加載。

遇到這種情況，我們應(yīng)該如何對網(wǎng)頁進行爬取呢？有兩種方法：

1、從網(wǎng)頁響應(yīng)中找到JS腳本返回的JSON數(shù)據(jù)；2、使用Selenium對網(wǎng)頁進行模擬訪問

一、從網(wǎng)頁響應(yīng)中找到JS腳本返回的JSON數(shù)據(jù)

即使網(wǎng)頁內(nèi)容是由JS動態(tài)生成加載的，JS也需要對某個接口進行調(diào)用，并根據(jù)接口返回的JSON數(shù)據(jù)再進行加載和渲染。

所以我們可以找到JS調(diào)用的數(shù)據(jù)接口，從數(shù)據(jù)接口中找到網(wǎng)頁中最后呈現(xiàn)的數(shù)據(jù)。

就以今日頭條為例來演示：

1、從找到JS請求的數(shù)據(jù)接口

F12打開網(wǎng)頁調(diào)試工具

選擇“網(wǎng)絡(luò)”選項卡后，發(fā)現(xiàn)有很多響應(yīng)，我們篩選一下，只看XHR響應(yīng)。

（XHR是Ajax中的概念，表示XMLHTTPrequest）

然后我們發(fā)現(xiàn)少了很多鏈接，隨便點開一個看看：

我們選擇city，預(yù)覽中有一串json數(shù)據(jù)：

我們再點開看看：

原來全都是城市的列表，應(yīng)該是加載地區(qū)新聞之用的。

現(xiàn)在大概了解了怎么找JS請求的接口的吧？但是剛剛我們并沒有發(fā)現(xiàn)想要的新聞，再找找看：

有一個focus，我們點開看看：

與首頁的圖片新聞呈現(xiàn)的數(shù)據(jù)是一樣的，那么數(shù)據(jù)應(yīng)該就在這里面了。

看看其他的鏈接：

這應(yīng)該是熱搜關(guān)鍵詞

這個就是圖片新聞下面的新聞了。

我們打開一個接口鏈接看看：http://www.toutiao.com/api/pc/focus/

返回一串亂碼，但從響應(yīng)中查看的是正常的編碼數(shù)據(jù)：

有了對應(yīng)的數(shù)據(jù)接口，我們就可以仿照之前的方法對數(shù)據(jù)接口進行請求和獲取響應(yīng)了

2、請求和解析數(shù)據(jù)接口數(shù)據(jù)

先上完整代碼：

# coding：utf-8
import requests
import json

url = 'http://www.toutiao.com/api/pc/focus/'
wbdata = requests.get(url).text

data = json.loads(wbdata)
news = data['data']['pc_feed_focus']

for n in news:    
  title = n['title']    
  img_url = n['image_url']    
  url = n['media_url']    
  print(url,title,img_url)

返回出來的結(jié)果如下：

代碼分為四部分

第一部分：引入相關(guān)的庫

# coding：utf-8
import requests
import json

第二部分：對數(shù)據(jù)接口進行http請求

url = 'http://www.toutiao.com/api/pc/focus/'
wbdata = requests.get(url).text

第三部分：對HTTP響應(yīng)的數(shù)據(jù)JSON化，并索引到新聞數(shù)據(jù)的位置

data = json.loads(wbdata)
news = data['data']['pc_feed_focus'

第四部分：對索引出來的JSON數(shù)據(jù)進行遍歷和提取

for n in news:    
  title = n['title']    
  img_url = n['image_url']    
  url = n['media_url']    
  print(url,title,img_url)

關(guān)于如何用python抓取js生成的頁面就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

網(wǎng)頁標題：如何用python抓取js生成的頁面-創(chuàng)新互聯(lián)
標題URL：http://www.muchs.cn/article4/ceodoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、小程序開發(fā)、營銷型網(wǎng)站建設(shè)、手機網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)