怎么用python爬蟲多線程快速獲取視頻-創(chuàng)新互聯(lián)

這篇文章主要介紹怎么用python爬蟲多線程快速獲取視頻，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

成都創(chuàng)新互聯(lián)始終堅(jiān)持【策劃先行，效果至上】的經(jīng)營(yíng)理念，通過多達(dá)10年累計(jì)超上千家客戶的網(wǎng)站建設(shè)總結(jié)了一套系統(tǒng)有效的營(yíng)銷推廣解決方案，現(xiàn)已廣泛運(yùn)用于各行各業(yè)的客戶，其中包括：成都食品包裝袋等企業(yè)，備受客戶贊美。

先看請(qǐng)求的URL

https://api.bilibili.com/medialist/gateway/base/spaceDetail?media_id=88854277&pn=1&ps=20&keyword=&order=mtime&type=0&tid=0&jsonp=jsonp

media_id是收藏夾的id號(hào)，pn是代表哪一分頁，ps是當(dāng)前分頁中視頻數(shù)量。

那么我們就可以調(diào)用這個(gè)api來拿到所有收藏的視頻了。

我們的視頻分頁當(dāng)然不可能只有一頁，所以我們可以遍歷pn遞增。

i = 1
while 1 :
    url = 'https://api.bilibili.com/medialist/gateway/base/spaceDetail?media_id=88854277&pn='+ str(i) +'&ps=20&keyword=?=mtime&type=0&tid=0&jsonp=jsonp'
    html = requests.get(url)
    i = i + 1
print(html.text)

這樣就能拿到一個(gè)收藏夾下所有視頻了，當(dāng)i超過收藏夾頁數(shù)時(shí)，直接異常退出即可。

接下來我們需要解析出每一個(gè)視頻的id。

根據(jù)json解析，我們很容易就能用

res['data']['medias']

來獲得所有的視頻，然后再根據(jù)下標(biāo)解析出每一個(gè)視頻。

res = json.loads(html.text)
len_video = len(res['data']['medias'])
for id in range(0,len_video):
create_thread(res['data']['medias'][id])

這樣我們就可以獲取當(dāng)前頁視頻數(shù)量，然后創(chuàng)建線程進(jìn)行下載了，因?yàn)橄螺d是一個(gè)非常占IO的事情，如果你單線程執(zhí)行，下載一個(gè)視頻再下載另一個(gè)，這樣會(huì)很慢，我們可以給每一個(gè)視頻創(chuàng)建一個(gè)線程來提高速度。

def create_thread(res):
    thread = myThread(res['id'],res['title'],res['id'])
thread.start()

創(chuàng)建線程的線程號(hào)是視頻的id號(hào)，線程名是視頻名。

class myThread(threading.Thread):  # 繼承父類threading.Thread
    def __init__(self, threadID, name, counter):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.counter = counter
    def run(self):
        download_video(self.threadID)

線程類如上，里面有兩個(gè)函數(shù)，__init__是默認(rèn)的線程初始化函數(shù)，里面就是我們創(chuàng)建線程時(shí)傳入的id和name。第二個(gè)函數(shù)是線程執(zhí)行時(shí)的run方法，也就是我們定義線程的具體要做的事，里面只有一個(gè)download_video方法。

# 下載視頻
def download_video(av_id):
os.system('you-get -o d:/vedio/ https://www.bilibili.com/video/av'+str(av_id))

在下載函數(shù)中，我們可以調(diào)用you-get來幫助我們解析下載視頻(不要問為什么調(diào)you-get，自己解析太麻煩了)。

下載完成后：

以上是“怎么用python爬蟲多線程快速獲取視頻”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當(dāng)前文章：怎么用python爬蟲多線程快速獲取視頻-創(chuàng)新互聯(lián)
網(wǎng)頁URL：http://muchs.cn/article16/eeggg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營(yíng)銷、定制網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、域名注冊(cè)、外貿(mào)網(wǎng)站建設(shè)、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)