python分布式爬蟲中的celery如何使用

這篇文章主要介紹了python分布式爬蟲中的celery如何使用，具有一定借鑒價(jià)值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)建站專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì)、黃島網(wǎng)絡(luò)推廣、小程序開發(fā)、黃島網(wǎng)絡(luò)營(yíng)銷、黃島企業(yè)策劃、黃島品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)建站為所有大學(xué)生創(chuàng)業(yè)者提供黃島建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18982081108，官方網(wǎng)址：muchs.cn

1. broker：翻譯過(guò)來(lái)叫做中間人。它是一個(gè)消息傳輸?shù)闹虚g件，可以理解為一個(gè)郵箱。每當(dāng)應(yīng)用程序調(diào)用celery的異步任務(wù)的時(shí)候，會(huì)向broker傳遞消息，而后celery的worker將會(huì)取到消息，執(zhí)行相應(yīng)程序。這其實(shí)就是消費(fèi)者和生產(chǎn)者之間的橋梁。

2. backend: 通常程序發(fā)送的消息，發(fā)完就完了，可能都不知道對(duì)方時(shí)候接受了。為此，celery實(shí)現(xiàn)了一個(gè)backend，用于存儲(chǔ)這些消息以及celery執(zhí)行的一些消息和結(jié)果。

3. worker: Celery類的實(shí)例，作用就是執(zhí)行各種任務(wù)。注意在celery3.1.25后windows是不支持celery worker的！

4. producer: 發(fā)送任務(wù)，將其傳遞給broker

5. beat: celery實(shí)現(xiàn)的定時(shí)任務(wù)?？梢詫⑵淅斫鉃橐粋€(gè)producer，因?yàn)樗彩峭ㄟ^(guò)網(wǎng)絡(luò)調(diào)用定時(shí)將任務(wù)發(fā)送給worker執(zhí)行。注意在windows上celery是不支持定時(shí)任務(wù)的！

下面是關(guān)于celery的架構(gòu)示意圖，結(jié)合上面文字的話應(yīng)該會(huì)更好理解

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享python分布式爬蟲中的celery如何使用內(nèi)容對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，遇到問(wèn)題就找創(chuàng)新互聯(lián)，詳細(xì)的解決方法等著你來(lái)學(xué)習(xí)!

本文題目：python分布式爬蟲中的celery如何使用
標(biāo)題來(lái)源：http://muchs.cn/article18/jcpegp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)頁(yè)設(shè)計(jì)公司、網(wǎng)站排名、網(wǎng)站維護(hù)、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)