導(dǎo)語 : 消息隊列是分布式系統(tǒng)中重要的組件,在很多生產(chǎn)環(huán)境如商品搶購等需要控制并發(fā)量的場景下都需要用到。最近組內(nèi)需要做流水server的選型升級,這里對消息隊列及常見的消息隊列進行了一次調(diào)研,整理了相關(guān)資料,分享給大家。
創(chuàng)新互聯(lián)主要從事網(wǎng)站設(shè)計、做網(wǎng)站、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)東營區(qū),10余年網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575消息隊列(Message Queue),是分布式系統(tǒng)中重要的組件,其通用的使用場景可以簡單地描述為:
當不需要立即獲得結(jié)果,但是并發(fā)量又需要進行控制的時候,差不多就是需要使用消息隊列的時候。
消息隊列主要解決了應(yīng)用耦合、異步處理、流量削鋒等問題。
當前使用較多的消息隊列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等,而部分數(shù)據(jù)庫如Redis、Mysql以及phxsql也可實現(xiàn)消息隊列的功能。
消息隊列在實際應(yīng)用中包括如下四個場景:
應(yīng)用耦合:多應(yīng)用間通過消息隊列對同一消息進行處理,避免調(diào)用接口失敗導(dǎo)致整個過程失敗;
異步處理:多應(yīng)用對消息隊列中同一消息進行處理,應(yīng)用間并發(fā)處理消息,相比串行處理,減少處理時間;
限流削峰:廣泛應(yīng)用于秒殺或搶購活動中,避免流量過大導(dǎo)致應(yīng)用系統(tǒng)掛掉的情況;
消息驅(qū)動的系統(tǒng):系統(tǒng)分為消息隊列、消息生產(chǎn)者、消息消費者,生產(chǎn)者負責產(chǎn)生消息,消費者(可能有多個)負責對消息進行處理;
下面詳細介紹上述四個場景以及消息隊列如何在上述四個場景中使用:
具體場景:用戶為了使用某個應(yīng)用,進行注冊,系統(tǒng)需要發(fā)送注冊郵件并驗證短信。對這兩個操作的處理方式有兩種:串行及并行。
(1)串行方式:新注冊信息生成后,先發(fā)送注冊郵件,再發(fā)送驗證短信;
在這種方式下,需要最終發(fā)送驗證短信后再返回給客戶端。
(2)并行處理:新注冊信息寫入后,由發(fā)短信和發(fā)郵件并行處理;
在這種方式下,發(fā)短信和發(fā)郵件 需處理完成后再返回給客戶端。
假設(shè)以上三個子系統(tǒng)處理的時間均為50ms,且不考慮網(wǎng)絡(luò)延遲,則總的處理時間:
串行:50+50+50=150ms 并行:50+50 = 100ms
若使用消息隊列:
并在寫入消息隊列后立即返回成功給客戶端,則總的響應(yīng)時間依賴于寫入消息隊列的時間,而寫入消息隊列的時間本身是可以很快的,基本可以忽略不計,因此總的處理時間相比串行提高了2倍,相比并行提高了一倍;
具體場景:用戶使用QQ相冊上傳一張圖片,人臉識別系統(tǒng)會對該圖片進行人臉識別,一般的做法是,服務(wù)器接收到圖片后,圖片上傳系統(tǒng)立即調(diào)用人臉識別系統(tǒng),調(diào)用完成后再返回成功,如下圖所示:
該方法有如下缺點:
人臉識別系統(tǒng)被調(diào)失敗,導(dǎo)致圖片上傳失??;
延遲高,需要人臉識別系統(tǒng)處理完成后,再返回給客戶端,即使用戶并不需要立即知道結(jié)果;
圖片上傳系統(tǒng)與人臉識別系統(tǒng)之間互相調(diào)用,需要做耦合;
若使用消息隊列:
客戶端上傳圖片后,圖片上傳系統(tǒng)將圖片信息如uin、批次寫入消息隊列,直接返回成功;而人臉識別系統(tǒng)則定時從消息隊列中取數(shù)據(jù),完成對新增圖片的識別。
此時圖片上傳系統(tǒng)并不需要關(guān)心人臉識別系統(tǒng)是否對這些圖片信息的處理、以及何時對這些圖片信息進行處理。事實上,由于用戶并不需要立即知道人臉識別結(jié)果,人臉識別系統(tǒng)可以選擇不同的調(diào)度策略,按照閑時、忙時、正常時間,對隊列中的圖片信息進行處理。
具體場景:購物網(wǎng)站開展秒殺活動,一般由于瞬時訪問量過大,服務(wù)器接收過大,會導(dǎo)致流量暴增,相關(guān)系統(tǒng)無法處理請求甚至崩潰。而加入消息隊列后,系統(tǒng)可以從消息隊列中取數(shù)據(jù),相當于消息隊列做了一次緩沖。
該方法有如下優(yōu)點:
請求先入消息隊列,而不是由業(yè)務(wù)處理系統(tǒng)直接處理,做了一次緩沖,極大地減少了業(yè)務(wù)處理系統(tǒng)的壓力;
隊列長度可以做限制,事實上,秒殺時,后入隊列的用戶無法秒殺到商品,這些請求可以直接被拋棄,返回活動已結(jié)束或商品已售完信息;
具體場景:用戶新上傳了一批照片, 人臉識別系統(tǒng)需要對這個用戶的所有照片進行聚類,聚類完成后由對賬系統(tǒng)重新生成用戶的人臉索引(加快查詢)。這三個子系統(tǒng)間由消息隊列連接起來,前一個階段的處理結(jié)果放入隊列中,后一個階段從隊列中獲取消息繼續(xù)處理。
該方法有如下優(yōu)點:
避免了直接調(diào)用下一個系統(tǒng)導(dǎo)致當前系統(tǒng)失??;
每個子系統(tǒng)對于消息的處理方式可以更為靈活,可以選擇收到消息時就處理,可以選擇定時處理,也可以劃分時間段按不同處理速度處理;
消息隊列包括兩種模式,點對點模式(point to point, queue)和發(fā)布/訂閱模式(publish/subscribe,topic)。
點對點模式下包括三個角色:
消息隊列
發(fā)送者 (生產(chǎn)者)
接收者(消費者)
消息發(fā)送者生產(chǎn)消息發(fā)送到queue中,然后消息接收者從queue中取出并且消費消息。消息被消費以后,queue中不再有存儲,所以消息接收者不可能消費到已經(jīng)被消費的消息。
點對點模式特點:
每個消息只有一個接收者(Consumer)(即一旦被消費,消息就不再在消息隊列中);
發(fā)送者和接收者間沒有依賴性,發(fā)送者發(fā)送消息之后,不管有沒有接收者在運行,都不會影響到發(fā)送者下次發(fā)送消息;
接收者在成功接收消息之后需向隊列應(yīng)答成功,以便消息隊列刪除當前接收的消息;
發(fā)布/訂閱模式下包括三個角色:
角色主題(Topic)
發(fā)布者(Publisher)
訂閱者(Subscriber)
發(fā)布者將消息發(fā)送到Topic,系統(tǒng)將這些消息傳遞給多個訂閱者。
發(fā)布/訂閱模式特點:
每個消息可以有多個訂閱者;
發(fā)布者和訂閱者之間有時間上的依賴性。針對某個主題(Topic)的訂閱者,它必須創(chuàng)建一個訂閱者之后,才能消費發(fā)布者的消息。
為了消費消息,訂閱者需要提前訂閱該角色主題,并保持在線運行;
本部分主要介紹四種常用的消息隊列(RabbitMQ/ActiveMQ/RocketMQ/Kafka)的主要特性、優(yōu)點、缺點。
RabbitMQ 2007年發(fā)布,是一個在AMQP(高級消息隊列協(xié)議)基礎(chǔ)上完成的,可復(fù)用的企業(yè)消息系統(tǒng),是當前最主流的消息中間件之一。
主要特性:
可靠性: 提供了多種技術(shù)可以讓你在性能和可靠性之間進行權(quán)衡。這些技術(shù)包括持久性機制、投遞確認、發(fā)布者證實和高可用性機制;
靈活的路由: 消息在到達隊列前是通過交換機進行路由的。RabbitMQ為典型的路由邏輯提供了多種內(nèi)置交換機類型。如果你有更復(fù)雜的路由需求,可以將這些交換機組合起來使用,你甚至可以實現(xiàn)自己的交換機類型,并且當做RabbitMQ的插件來使用;
消息集群:在相同局域網(wǎng)中的多個RabbitMQ服務(wù)器可以聚合在一起,作為一個獨立的邏輯代理來使用;
隊列高可用:隊列可以在集群中的機器上進行鏡像,以確保在硬件問題下還保證消息安全;
多種協(xié)議的支持:支持多種消息隊列協(xié)議;
服務(wù)器端用Erlang語言編寫,支持只要是你能想到的所有編程語言;
管理界面: RabbitMQ有一個易用的用戶界面,使得用戶可以監(jiān)控和管理消息Broker的許多方面;
跟蹤機制:如果消息異常,RabbitMQ提供消息跟蹤機制,使用者可以找出發(fā)生了什么;
插件機制:提供了許多插件,來從多方面進行擴展,也可以編寫自己的插件;
使用RabbitMQ需要:
ErLang語言包
RabbitMQ安裝包
RabbitMQ可以運行在Erlang語言所支持的平臺之上:
Solaris
BSD
Linux
MacOSX
TRU64
Windows NT/2000/XP/Vista/Windows 7/Windows 8
Windows Server 2003/2008/2012
Windows 95, 98
VxWorks
優(yōu)點:
由于erlang語言的特性,mq 性能較好,高并發(fā);
健壯、穩(wěn)定、易用、跨平臺、支持多種語言、文檔齊全;
有消息確認機制和持久化機制,可靠性高;
高度可定制的路由;
管理界面較豐富,在互聯(lián)網(wǎng)公司也有較大規(guī)模的應(yīng)用;
社區(qū)活躍度高;
缺點:
盡管結(jié)合erlang語言本身的并發(fā)優(yōu)勢,性能較好,但是不利于做二次開發(fā)和維護;
實現(xiàn)了代理架構(gòu),意味著消息在發(fā)送到客戶端之前可以在中央節(jié)點上排隊。此特性使得RabbitMQ易于使用和部署,但是使得其運行速度較慢,因為中央節(jié)點增加了延遲,消息封裝后也比較大;
需要學(xué)習比較復(fù)雜的接口和協(xié)議,學(xué)習和維護成本較高;
ActiveMQ是由Apache出品,ActiveMQ 是一個完全支持JMS1.1和J2EE 1.4規(guī)范的 JMS Provider實現(xiàn)。它非常快速,支持多種語言的客戶端和協(xié)議,而且可以非常容易的嵌入到企業(yè)的應(yīng)用環(huán)境中,并有許多高級功能。
主要特性:
服從 JMS 規(guī)范:JMS 規(guī)范提供了良好的標準和保證,包括:同步或異步的消息分發(fā),一次和僅一次的消息分發(fā),消息接收和訂閱等等。遵從 JMS 規(guī)范的好處在于,不論使用什么 JMS 實現(xiàn)提供者,這些基礎(chǔ)特性都是可用的;
連接性:ActiveMQ 提供了廣泛的連接選項,支持的協(xié)議有:HTTP/S,IP 多播,SSL,STOMP,TCP,UDP,XMPP等等。對眾多協(xié)議的支持讓 ActiveMQ 擁有了很好的靈活性。
支持的協(xié)議種類多:OpenWire、STOMP、REST、XMPP、AMQP ;
持久化插件和安全插件:ActiveMQ 提供了多種持久化選擇。而且,ActiveMQ 的安全性也可以完全依據(jù)用戶需求進行自定義鑒權(quán)和授權(quán);
支持的客戶端語言種類多:除了 Java 之外,還有:C/C++,.NET,Perl,PHP,Python,Ruby;
代理集群:多個 ActiveMQ 代理可以組成一個集群來提供服務(wù);
異常簡單的管理:ActiveMQ 是以開發(fā)者思維被設(shè)計的。所以,它并不需要專門的管理員,因為它提供了簡單又使用的管理特性。有很多中方法可以監(jiān)控 ActiveMQ 不同層面的數(shù)據(jù),包括使用在 JConsole 或者 ActiveMQ 的Web Console 中使用 JMX,通過處理 JMX 的告警消息,通過使用命令行腳本,甚至可以通過監(jiān)控各種類型的日志。
使用ActiveMQ需要:
Java JDK
ActiveMQ安裝包
ActiveMQ可以運行在Java語言所支持的平臺之上。
優(yōu)點:
跨平臺(JAVA編寫與平臺無關(guān)有,ActiveMQ幾乎可以運行在任何的JVM上)
可以用JDBC:可以將數(shù)據(jù)持久化到數(shù)據(jù)庫。雖然使用JDBC會降低ActiveMQ的性能,但是數(shù)據(jù)庫一直都是開發(fā)人員最熟悉的存儲介質(zhì)。將消息存到數(shù)據(jù)庫,看得見摸得著。而且公司有專門的DBA去對數(shù)據(jù)庫進行調(diào)優(yōu),主從分離;
支持JMS :支持JMS的統(tǒng)一接口;
支持自動重連;
有安全機制:支持基于shiro,jaas等多種安全配置機制,可以對Queue/Topic進行認證和授權(quán)。
監(jiān)控完善:擁有完善的監(jiān)控,包括Web Console,JMX,Shell命令行,Jolokia的REST API;
界面友善:提供的Web Console可以滿足大部分情況,還有很多第三方的組件可以使用,如hawtio;
缺點:
社區(qū)活躍度不及RabbitMQ高;
根據(jù)其他用戶反饋,會出莫名其妙的問題,會丟失消息;
目前重心放到activemq6.0產(chǎn)品-apollo,對5.x的維護較少;
不適合用于上千個隊列的應(yīng)用場景;
RocketMQ出自 阿里公司的開源產(chǎn)品,用 Java 語言實現(xiàn),在設(shè)計時參考了 Kafka,并做出了自己的一些改進,消息可靠性上比 Kafka 更好。RocketMQ在阿里集團被廣泛應(yīng)用在訂單,交易,充值,流計算,消息推送,日志流式處理,binglog分發(fā)等場景。
主要特性:
是一個隊列模型的消息中間件,具有高性能、高可靠、高實時、分布式特點;
Producer、Consumer、隊列都可以分布式;
Producer向一些隊列輪流發(fā)送消息,隊列集合稱為Topic,Consumer如果做廣播消費,則一個consumer實例消費這個Topic對應(yīng)的所有隊列,如果做集群消費,則多個Consumer實例平均消費這個topic對應(yīng)的隊列集合;
能夠保證嚴格的消息順序;
提供豐富的消息拉取模式;
高效的訂閱者水平擴展能力;
實時的消息訂閱機制;
億級消息堆積能力;
較少的依賴;
使用RocketMQ需要:
Java JDK
安裝git、Maven
RocketMQ安裝包
RocketMQ可以運行在Java語言所支持的平臺之上。
優(yōu)點:
單機支持 1 萬以上持久化隊列
RocketMQ 的所有消息都是持久化的,先寫入系統(tǒng) PAGECACHE,然后刷盤,可以保證內(nèi)存與磁盤都有一份數(shù)據(jù),
訪問時,直接從內(nèi)存讀取。
模型簡單,接口易用(JMS 的接口很多場合并不太實用);
性能非常好,可以大量堆積消息在broker中;
支持多種消費,包括集群消費、廣播消費等。
各個環(huán)節(jié)分布式擴展設(shè)計,主從HA;
開發(fā)度較活躍,版本更新很快。
缺點:
支持的客戶端語言不多,目前是java及c++,其中c++不成熟;
RocketMQ社區(qū)關(guān)注度及成熟度也不及前兩者;
沒有web管理界面,提供了一個CLI(命令行界面)管理工具帶來查詢、管理和診斷各種問題;
沒有在 mq 核心中去實現(xiàn)JMS等接口;
Apache Kafka是一個分布式消息發(fā)布訂閱系統(tǒng)。它最初由LinkedIn公司基于獨特的設(shè)計實現(xiàn)為一個分布式的提交日志系統(tǒng)( a distributed commit log),,之后成為Apache項目的一部分。Kafka系統(tǒng)快速、可擴展并且可持久化。它的分區(qū)特性,可復(fù)制和可容錯都是其不錯的特性。
主要特性:
快速持久化,可以在O(1)的系統(tǒng)開銷下進行消息持久化;
高吞吐,在一臺普通的服務(wù)器上既可以達到10W/s的吞吐速率;
.完全的分布式系統(tǒng),Broker、Producer、Consumer都原生自動支持分布式,自動實現(xiàn)負載均衡;
支持同步和異步復(fù)制兩種HA;
支持數(shù)據(jù)批量發(fā)送和拉??;
zero-copy:減少IO操作步驟;
數(shù)據(jù)遷移、擴容對用戶透明;
無需停機即可擴展機器;
其他特性:嚴格的消息順序、豐富的消息拉取模型、高效訂閱者水平擴展、實時的消息訂閱、億級的消息堆積能力、定期刪除機制;
使用Kafka需要:
Java JDK
Kafka安裝包
優(yōu)點:
客戶端語言豐富,支持java、.net、php、ruby、python、go等多種語言;
性能卓越,單機寫入TPS約在百萬條/秒,消息大小10個字節(jié);
提供完全分布式架構(gòu), 并有replica機制, 擁有較高的可用性和可靠性, 理論上支持消息無限堆積;
支持批量操作;
消費者采用Pull方式獲取消息, 消息有序, 通過控制能夠保證所有消息被消費且僅被消費一次;
有優(yōu)秀的第三方Kafka Web管理界面Kafka-Manager;
在日志領(lǐng)域比較成熟,被多家公司和多個開源項目使用;
缺點:
Kafka單機超過64個隊列/分區(qū),Load會發(fā)生明顯的飆高現(xiàn)象,隊列越多,load越高,發(fā)送消息響應(yīng)時間變長
使用短輪詢方式,實時性取決于輪詢間隔時間;
消費失敗不支持重試;
支持消息順序,但是一臺代理宕機后,就會產(chǎn)生消息亂序;
社區(qū)更新較慢;
這里列舉了上述四種消息隊列的差異對比:
結(jié)論:
Kafka在于分布式架構(gòu),RabbitMQ基于AMQP協(xié)議來實現(xiàn),RocketMQ/思路來源于kafka,改成了主從結(jié)構(gòu),在事務(wù)性可靠性方面做了優(yōu)化。廣泛來說,電商、金融等對事務(wù)性要求很高的,可以考慮RabbitMQ和RocketMQ,對性能要求高的可考慮Kafka。
大型網(wǎng)站架構(gòu)之分布式消息隊列 http://blog.csdn.net/shaobingj126/article/details/50585035
消息隊列的使用場景 https://www.zhihu.com/question/34243607/answer/127666030
淺談異步消息隊列模型 http://www.cnblogs.com/sunkeydev/p/5248855.html
消息隊列的兩種模式 http://blog.csdn.net/heyutao007/article/details/50131089
RabbitMQ主頁 https://www.rabbitmq.com/
RabbitMQ學(xué)習教程 https://www.rabbitmq.com/getstarted.html
專欄:RabbitMQ從入門到精通 http://blog.csdn.net/column/details/rabbitmq.html
RabbitMQ能為你做些什么 http://rabbitmq.mr-ping.com/description.html
RabbitMQ指南(1)-特性及功能 https://blog.zenfery.cc/archives/79.html
ActiveMQ主頁 http://activemq.apache.org/
Apache ActiveMQ介紹 http://jfires.iteye.com/blog/1187688
ActiveMQ的簡介與安裝 http://blog.csdn.net/sl1992/article/details/72824562
ActiveMQ 和消息簡介 http://www.cnblogs.com/craftsman-gao/p/7002605.html
主頁 https://github.com/alibaba/RocketMQ
RocketMQ 原理簡介 http://alibaba.github.io/RocketMQ-docs/document/design/RocketMQ_design.pdf
RocketMQ與kafka對比(18項差異) http://jm.taobao.org/2016/03/24/rmq-vs-kafka/
1.Kafka主頁: http://kafka.apache.org/
Kafka特性 http://www.cnblogs.com/lsx1993/p/4847719.html
Kafka客戶端支持語言 https://cwiki.apache.org/confluence/display/KAFKA/Clients
RocketMQ,隊列選型 http://www.zmannotes.com/index.php/2016/01/17/rocketmq/
RabbitMQ和Kafka http://www.dongcoder.com/detail-416804.html
即時通信RabbitMQ二-性能測試 http://www.jianshu.com/p/d31ae9e3bfb6
RabbitMq、ActiveMq、ZeroMq、kafka之間的比較,資料匯總 http://blog.csdn.net/linsongbin1/article/details/47781187
消息隊列軟件產(chǎn)品大比拼 http://www.cnblogs.com/amityat/archive/2011/08/31/2160293.html
消息隊列利用高效可靠的消息傳遞機制進行平臺無關(guān)的數(shù)據(jù)交流,并基于數(shù)據(jù)通信來進行分布式系統(tǒng)的集成。目前業(yè)界有很多的MQ產(chǎn)品,例如RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等,也有直接使用數(shù)據(jù)庫redis充當消息隊列的案例。而這些消息隊列產(chǎn)品,各有側(cè)重,在實際選型時,需要結(jié)合自身需求及MQ產(chǎn)品特征,綜合考慮。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
網(wǎng)站欄目:常見消息隊列介紹以及比較總結(jié)-創(chuàng)新互聯(lián)
網(wǎng)頁URL:http://muchs.cn/article24/pddce.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供做網(wǎng)站、網(wǎng)站維護、響應(yīng)式網(wǎng)站、自適應(yīng)網(wǎng)站、用戶體驗、軟件開發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容