Python中怎么獲取JS動(dòng)態(tài)內(nèi)容

這篇文章給大家介紹Python中怎么獲取JS動(dòng)態(tài)內(nèi)容，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

創(chuàng)新互聯(lián)長(zhǎng)期為上1000+客戶(hù)提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為湘鄉(xiāng)企業(yè)提供專(zhuān)業(yè)的成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè)，湘鄉(xiāng)網(wǎng)站改版等技術(shù)服務(wù)。擁有十載豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。

網(wǎng)頁(yè)的新聞在HTML源碼中一條都找不到，全是由JS動(dòng)態(tài)生成加載。
遇到這種情況，我們應(yīng)該如何對(duì)網(wǎng)頁(yè)進(jìn)行爬取呢？有兩種方法：
1、從網(wǎng)頁(yè)響應(yīng)中找到JS腳本返回的JSON數(shù)據(jù)；2、使用Selenium對(duì)網(wǎng)頁(yè)進(jìn)行模擬訪(fǎng)問(wèn)
在此只對(duì)第一種方法作介紹，關(guān)于Selenium的使用，后面有專(zhuān)門(mén)的一篇。

從網(wǎng)頁(yè)響應(yīng)中找到JS腳本返回的JSON數(shù)據(jù)

即使網(wǎng)頁(yè)內(nèi)容是由JS動(dòng)態(tài)生成加載的，JS也需要對(duì)某個(gè)接口進(jìn)行調(diào)用，并根據(jù)接口返回的JSON數(shù)據(jù)再進(jìn)行加載和渲染。
所以我們可以找到JS調(diào)用的數(shù)據(jù)接口，從數(shù)據(jù)接口中找到網(wǎng)頁(yè)中最后呈現(xiàn)的數(shù)據(jù)。
就以今日頭條為例來(lái)演示：
 

1、從找到JS請(qǐng)求的數(shù)據(jù)接口

undefined

undefined
undefined
undefined
undefined

undefined

undefined
undefined
undefined

與首頁(yè)的圖片新聞呈現(xiàn)的數(shù)據(jù)是一樣的，那么數(shù)據(jù)應(yīng)該就在這里面了。
看看其他的鏈接：

這應(yīng)該是熱搜關(guān)鍵詞

這個(gè)就是圖片新聞下面的新聞了。
我們打開(kāi)一個(gè)接口鏈接看看：http://www.toutiao.com/api/pc/focus/

返回一串亂碼，但從響應(yīng)中查看的是正常的編碼數(shù)據(jù)：

有了對(duì)應(yīng)的數(shù)據(jù)接口，我們就可以仿照之前的方法對(duì)數(shù)據(jù)接口進(jìn)行請(qǐng)求和獲取響應(yīng)了

2、請(qǐng)求和解析數(shù)據(jù)接口數(shù)據(jù)

先上完整代碼：

# coding：utf-8
import requests
import json

url = 'http://www.toutiao.com/api/pc/focus/'
wbdata = requests.get(url).text

data = json.loads(wbdata)
news = data['data']['pc_feed_focus']

for n in news:    
  title = n['title']    
  img_url = n['image_url']    
  url = n['media_url']    
  print(url,title,img_url)

返回出來(lái)的結(jié)果如下：

照例，稍微講解一下代碼：
代碼分為四部分，
第一部分：引入相關(guān)的庫(kù)

# coding：utf-8
import requests
import json

第二部分：對(duì)數(shù)據(jù)接口進(jìn)行http請(qǐng)求

url = ' 
wbdata = requests.get(url).text

第三部分：對(duì)HTTP響應(yīng)的數(shù)據(jù)JSON化，并索引到新聞數(shù)據(jù)的位置

data = json.loads(wbdata)
news = data['data']['pc_feed_focus']

第四部分：對(duì)索引出來(lái)的JSON數(shù)據(jù)進(jìn)行遍歷和提取

for n in news:    
  title = n['title']    
  img_url = n['image_url']    
  url = n['media_url']    
  print(url,title,img_url)

關(guān)于Python中怎么獲取JS動(dòng)態(tài)內(nèi)容就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

網(wǎng)站標(biāo)題：Python中怎么獲取JS動(dòng)態(tài)內(nèi)容
當(dāng)前鏈接：http://muchs.cn/article2/jopooc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、外貿(mào)建站、動(dòng)態(tài)網(wǎng)站、網(wǎng)站收錄、Google、網(wǎng)站營(yíng)銷(xiāo)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)