Pulsar的特性與優(yōu)勢(shì)有哪些

這篇文章主要介紹“Pulsar的特性與優(yōu)勢(shì)有哪些”，在日常操作中，相信很多人在Pulsar的特性與優(yōu)勢(shì)有哪些問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Pulsar的特性與優(yōu)勢(shì)有哪些”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

創(chuàng)新互聯(lián)主要從事做網(wǎng)站、成都網(wǎng)站制作、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)天峻,十載網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18982081108

為什么選擇 Pulsar

現(xiàn)狀及痛點(diǎn)
在沒使用 Pulsar 之前，涂鴉使用的架構(gòu)基本如下圖所示。消息進(jìn)入接入層后，通過 Kafka進(jìn)行消息分發(fā)轉(zhuǎn)化，這個(gè)消息集群主要在做一些消息分發(fā)和路由的功能。之后再通過 HTTP 投遞給第三方。

Pulsar的特性與優(yōu)勢(shì)有哪些

以上的架構(gòu)模式存在一些業(yè)務(wù)痛點(diǎn)：

1. HTTP 投遞方式不靈活，容易丟消息  
基于網(wǎng)絡(luò)原因、公司服務(wù)器規(guī)模不足以支撐業(yè)務(wù)時(shí)，都有可能出現(xiàn)重啟過程中消息丟失的現(xiàn)象。如果想要滿足這個(gè)需求，就需要對(duì)消息的持久化進(jìn)行額外的處理。

2. Kafka topic 數(shù)量與日俱增，運(yùn)維成本高
隨著接入廠家和開發(fā)者數(shù)量的增加，導(dǎo)致 Kafka 的運(yùn)維層面壓力會(huì)比較大，人力和時(shí)間等耗費(fèi)比較高。

3. Kafka 自身的一些痛點(diǎn)，比如 Rebalance 機(jī)制  
業(yè)務(wù)集群需要經(jīng)常升級(jí)，consumer 就會(huì)經(jīng)常斷連。斷連情況下，Rebalance 的過程是很長(zhǎng)的，導(dǎo)致消息堆積量加大，造成用戶體驗(yàn)下降。同時(shí)堆積后的重啟，在大集群量情況下，對(duì)消費(fèi)端的壓力會(huì)非常大。 

4. 租戶之間會(huì)相互影響
如果有一個(gè)租戶掛掉并且沒有進(jìn)行及時(shí)處理，就會(huì)一直堆積在 Kafka 的處理器上，耽誤后續(xù)進(jìn)程，降低消息上報(bào)性能，影響到其他租戶。


Pulsar 的特性與優(yōu)勢(shì)   
Apache Pulsar 是靈活的發(fā)布-訂閱消息系統(tǒng)，采用分層分片架構(gòu)。 

1. 豐富的投遞/訂閱策略
Pulsar 做了隊(duì)列模型和流模型的統(tǒng)一，在 Topic 級(jí)別只需保存一份數(shù)據(jù)，同一份數(shù)據(jù)可多次消費(fèi)。以流式、隊(duì)列等方式計(jì)算不同的訂閱模型大大提升了靈活度。

Pulsar的特性與優(yōu)勢(shì)有哪些
 
2. 運(yùn)維難度?。ㄏ啾?Kafka），Rebalance 機(jī)制反應(yīng)迅速
主要體現(xiàn)在跨地域復(fù)制方面。Pulsar 使用計(jì)算與存儲(chǔ)分離的云原生架構(gòu)，數(shù)據(jù)從 Broker 搬離，存在共享存儲(chǔ)內(nèi)部。上層是無狀態(tài) Broker，復(fù)制消息分發(fā)和服務(wù)；下層是持久化的存儲(chǔ)層 Bookie 集群。

Pulsar 存儲(chǔ)是分片的，這種架構(gòu)可以避免擴(kuò)容時(shí)受限制，實(shí)現(xiàn)數(shù)據(jù)的獨(dú)立擴(kuò)展和快速恢復(fù)。

3. 多租戶隔離優(yōu)勢(shì)
租戶和命名空間（namespace）是 Pulsar 支持多租戶的兩個(gè)核心概念。

  • 在租戶級(jí)別，Pulsar 為特定的租戶預(yù)留合適的存儲(chǔ)空間、應(yīng)用授權(quán)與認(rèn)證機(jī)制。
  • 在命名空間級(jí)別，Pulsar 有一系列的配置策略（policy），包括存儲(chǔ)配額、流控、消息過期策略和命名空間之間的隔離策略。


現(xiàn)階段結(jié)構(gòu)   
剛好這三點(diǎn)特性，對(duì)應(yīng)了之前涂鴉面臨的痛點(diǎn)，所以在契合下開始轉(zhuǎn)向使用 Pulsar 來替代了 Kafka。

Pulsar的特性與優(yōu)勢(shì)有哪些

目前 Pulsar 的架構(gòu)已應(yīng)用到涂鴉智能平臺(tái)，成為一個(gè)主導(dǎo)消息隊(duì)列，后續(xù)也在圍繞 Pulsar 進(jìn)行一些二次開發(fā)和周邊服務(wù)搭建。

以前信息的投遞會(huì)有 5-6 s 的延遲，現(xiàn)在大概只有 1 s，整體的提升和改進(jìn)是非常大的。

當(dāng)然用 Pulsar 替代 Kafka 的過程，也有一些缺點(diǎn)，比如：成本高。這個(gè)過程就需要督促第三方開發(fā)者去替換 SDK，同時(shí)過渡時(shí)期還要支持兩套系統(tǒng)。

剛好最近 StreamNative 開源了 KoP，可以讓兩者之間的遷移更簡(jiǎn)單，也算解決了這一問題。

Pulsar的特性與優(yōu)勢(shì)有哪些

上圖就是 BookKeeper 內(nèi)的 Pulsar 架構(gòu)示意圖，其中 zk 是指 ZooKeeper。更多關(guān)于 Broker、Bookie 和 Proxy 等概念介紹，可以參考之前 TGIP-CN 的回顧：  Message Lifecycle：Pulsar 里的信息傳遞究竟是什么樣子  。

同時(shí)借由存儲(chǔ)端 BookKeeper 的存儲(chǔ)中間件特性，使得 Pulsar 現(xiàn)在的存儲(chǔ)分離架構(gòu)并沒有增加額外的使用復(fù)雜度。

Proxy 在這里提供了類似 TCP 的一個(gè)代理，為 Consume 提供了“尋址”的功能。Consumer 無需關(guān)心真實(shí)的 Broker 地址，連上 Proxy 后會(huì)直接從 ZooKeeper 里拉取 Topic 的位置等數(shù)據(jù)，此過程中 Consumer 只需保證穩(wěn)定的連接即可。

但 Proxy 并沒有進(jìn)行負(fù)載均衡的功能，這些都是在 Broker 上進(jìn)行的。這一點(diǎn)也在之前的 TGIP-CN 直播中提到過。

當(dāng)然針對(duì)涂鴉的一些使用場(chǎng)景，他們也在 Proxy 上進(jìn)行了一些擴(kuò)展。


Dubbo-go + Pulsar 的實(shí)例應(yīng)用

Pulsar的特性與優(yōu)勢(shì)有哪些

上圖是一開始使用 Pulsar 時(shí)的架構(gòu)圖。生產(chǎn)者投遞消息后，利用 in Topic 路由解析出來并進(jìn)行投遞。但是這個(gè)過程中需要構(gòu)建多個(gè) Pulsar 集群，導(dǎo)致運(yùn)維程度的增加。

Pulsar的特性與優(yōu)勢(shì)有哪些

現(xiàn)在在 Pulsar 架構(gòu)里增加一個(gè)“source”，它可以用來收集之前的 topic，搭配 function 功能進(jìn)行傳遞。

之后在 function 部件內(nèi)嵌入了 Dubbo-go consumer，把一些復(fù)雜的路由規(guī)則通過 Dubbo-go  consumer 進(jìn)行拉取。同時(shí)借用 Pulsar broker 的整體集群管理，減少了運(yùn)維的業(yè)務(wù)壓力。

Pulsar的特性與優(yōu)勢(shì)有哪些

Dubbo-go
具體關(guān)于 Dubbo 的一些 demo 展示或者使用方法，可以參考以下網(wǎng)站。

  • Dubbo 中文網(wǎng)站：
    http://dubbo.apache.org/zh-cn/

  • GitHub 倉(cāng)庫(kù)：
    https://github.com/apache/dubbo-go

Dubbo-go 的架構(gòu)示意圖可以參考下方：

Pulsar的特性與優(yōu)勢(shì)有哪些
Pulsar的特性與優(yōu)勢(shì)有哪些

到此，關(guān)于“Pulsar的特性與優(yōu)勢(shì)有哪些”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

本文題目：Pulsar的特性與優(yōu)勢(shì)有哪些
當(dāng)前地址：http://muchs.cn/article2/geppoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、搜索引擎優(yōu)化、動(dòng)態(tài)網(wǎng)站、App設(shè)計(jì)、自適應(yīng)網(wǎng)站、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都seo排名網(wǎng)站優(yōu)化