rocketmq集群部署（多master多slave異步）-創(chuàng)新互聯(lián)

一、最近公司在做隊(duì)列的技術(shù)選型，經(jīng)過(guò)調(diào)研，決定使用rocketmq作為整個(gè)架構(gòu)的隊(duì)列層，我們之前的公司是用RabbitMQ，集群部署參考我之前的文章：RabbitMQ集群部署；rocketmq集群由NameServer和Broker兩種角色組成，NameServer是無(wú)狀態(tài)的可以橫向部署多臺(tái)達(dá)到消除單點(diǎn)的目的；Broker分多master、多master多slave同步、多master多slave異步這三種部署方案，一般生產(chǎn)環(huán)境都使用的是多master多slave異步這種方案，關(guān)于這三種方案的優(yōu)缺點(diǎn)對(duì)比如下：
多Master模式（2m-noslave）：
一個(gè)集群無(wú)Slave，全是Master，例如2個(gè)Master或者3個(gè)Master
優(yōu)點(diǎn)：配置簡(jiǎn)單，單個(gè)Master宕機(jī)或重啟維護(hù)對(duì)應(yīng)用無(wú)影響，在磁盤配置為RAID10時(shí)，即使機(jī)器宕機(jī)不可恢復(fù)情況下，由于RAID10磁盤非?？煽浚⒁膊粫?huì)丟（異步刷盤丟失少量消息，同步刷盤一條不丟）。性能高。
缺點(diǎn)：?jiǎn)闻_(tái)機(jī)器宕機(jī)期間，這臺(tái)機(jī)器上未被消費(fèi)的消息在機(jī)器恢復(fù)之前不可訂閱，消息實(shí)時(shí)性會(huì)受到受到影響。
多Master多Slave模式，異步復(fù)制（2m-2s-async）：
每個(gè)Master配置一個(gè)Slave，有多對(duì)Master-Slave，HA采用異步復(fù)制方式，主備有短暫消息延遲，毫秒級(jí)。
優(yōu)點(diǎn)：即使磁盤損壞，消息丟失的非常少，且消息實(shí)時(shí)性不會(huì)受影響，因?yàn)镸aster宕機(jī)后，消費(fèi)者仍然可以從Slave消費(fèi)，此過(guò)程對(duì)應(yīng)用透明。不需要人工干預(yù)。性能同多Master模式幾乎一樣。
缺點(diǎn)：Master宕機(jī)，磁盤損壞情況，會(huì)丟失少量消息。
多Master多Slave模式，同步雙寫（2m-2s-sync）
每個(gè)Master配置一個(gè)Slave，有多對(duì)Master-Slave，HA采用同步雙寫方式，主備都寫成功，向應(yīng)用返回成功。
優(yōu)點(diǎn)：數(shù)據(jù)與服務(wù)都無(wú)單點(diǎn)，Master宕機(jī)情況下，消息無(wú)延遲，服務(wù)可用性與數(shù)據(jù)可用性都非常高
缺點(diǎn)：性能比異步復(fù)制模式略低，大約低10%左右，發(fā)送單個(gè)消息的RT會(huì)略高。目前主宕機(jī)后，備機(jī)不能自動(dòng)切換為主機(jī)，后續(xù)會(huì)支持自動(dòng)切換功能。
二、環(huán)境
1、版本
JDK版本：openjdk version "1.8.0_161"
rocketmq版本：4.2.0
rocketmq-console-ng版本：1.0.0
2、角色
rocketmq-console-ng(監(jiān)控管理)：
192.168.54.26:8080
NameServer：
192.168.47.183:9876
192.168.47.184:9876
broker：
192.168.47.183:10911 master broker-a
192.168.47.184:10911 slave broker-a
192.168.47.185:10911 master broker-b
192.168.47.186:10911 slave broker-b
三、部署
1、下載二進(jìn)制包并解壓

創(chuàng)新互聯(lián)堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的彭澤網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

mkdir /chj/app/rocketmq -p;cd /chj/app/rocketmq
wget http://mirrors.shu.edu.cn/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zip

unzip rocketmq-all-4.2.0-bin-release.zip
2、撰寫配置文件，默認(rèn)的配置不能滿足我們的需求，需要我們自己添加定制相關(guān)的參數(shù)，由于我們要部署的是多master多slave的異步方案，所以我們修改或者添加/chj/app/rocketmq/conf/2m-2s-async目錄下的配置文件即可（建議在broker的一臺(tái)節(jié)點(diǎn)上把所有的配置文件都撰寫好，統(tǒng)一分發(fā)到所有節(jié)點(diǎn)，保持所有節(jié)點(diǎn)的配置文件一致，起服務(wù)的時(shí)候不同的節(jié)點(diǎn)使用不同的配置文件即可，方便后期維護(hù)）
A、4個(gè)文件的差異配置

vim broker-a.properties

brokerName=broker-a
brokerId=0
brokerRole=ASYNC_MASTER

vim broker-a-s.properties

brokerName=broker-a
brokerId=1
brokerRole=SLAVE

vim broker-b.properties

brokerName=broker-b
brokerId=0
brokerRole=ASYNC_MASTER

vim broker-b-s.properties

brokerName=broker-b
brokerId=1
brokerRole=SLAVE

B、初了上面的配置每個(gè)配置文件不一樣，下面的配置都一樣

#所屬集群名字
brokerClusterName=rocketmq-cluster-test
#broker名字，注意此處不同的配置文件填寫的不一樣，
#brokerName=broker-a
#0 表示 Master，>0 表示 Slave
#brokerId=0
#nameServer地址，分號(hào)分割
namesrvAddr=192.168.47.183:9876;192.168.47.184:9876
#在發(fā)送消息時(shí)，自動(dòng)創(chuàng)建服務(wù)器不存在的topic，默認(rèn)創(chuàng)建的隊(duì)列數(shù)
defaultTopicQueueNums=4
#是否允許 Broker 自動(dòng)創(chuàng)建Topic，建議線下開啟，線上關(guān)閉
autoCreateTopicEnable=true
#是否允許 Broker 自動(dòng)創(chuàng)建訂閱組，建議線下開啟，線上關(guān)閉
autoCreateSubscriptionGroup=true
#Broker 對(duì)外服務(wù)的監(jiān)聽端口
listenPort=10911
#刪除文件時(shí)間點(diǎn)，默認(rèn)凌晨 4點(diǎn)
deleteWhen=04
#文件保留時(shí)間，默認(rèn) 48 小時(shí)
fileReservedTime=120
#commitLog每個(gè)文件的大小默認(rèn)1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個(gè)文件默認(rèn)存30W條，根據(jù)業(yè)務(wù)情況調(diào)整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測(cè)物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲(chǔ)路徑
storePathRootDir=/chj/data/rocketmq/store
#commitLog 存儲(chǔ)路徑
storePathCommitLog=/chj/data/rocketmq/store/commitlog
#消費(fèi)隊(duì)列存儲(chǔ)路徑存儲(chǔ)路徑
storePathConsumeQueue=/chj/data/rocketmq/store/consumequeue
#消息索引存儲(chǔ)路徑
storePathIndex=/chj/data/rocketmq/store/index
#checkpoint 文件存儲(chǔ)路徑
storeCheckpoint=/chj/data/rocketmq/store/checkpoint
#abort 文件存儲(chǔ)路徑
abortFile=/chj/data/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536

#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步復(fù)制Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
#brokerRole=ASYNC_MASTER

#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發(fā)消息線程池?cái)?shù)量
#sendMessageThreadPoolNums=128
#拉消息線程池?cái)?shù)量
#pullMessageThreadPoolNums=128

3、啟動(dòng)服務(wù)
NameServer啟動(dòng)（兩個(gè)節(jié)點(diǎn)的啟動(dòng)方法一樣）
cd /chj/app/rocketmq/&& nohup ./bin/mqnamesrv &
192.168.47.183上啟動(dòng)Broker
cd /chj/app/rocketmq/&& nohup sh /chj/app/rocketmq/bin/mqbroker -c /chj/app/rocketmq/conf/2m-2s-async/broker-a.properties >/chj/log/rocketmq/broker-a.log >/dev/null 2>&1 &
192.168.47.184上啟動(dòng)Broker
cd /chj/app/rocketmq/&& nohup sh /chj/app/rocketmq/bin/mqbroker -c /chj/app/rocketmq/conf/2m-2s-async/broker-a-s.properties >/chj/log/rocketmq/broker-a-s.log >/dev/null 2>&1 &
192.168.47.185上啟動(dòng)Broker
cd /chj/app/rocketmq/&& nohup sh /chj/app/rocketmq/bin/mqbroker -c /chj/app/rocketmq/conf/2m-2s-async/broker-b.properties >/chj/log/rocketmq/broker-b.log >/dev/null 2>&1 &
192.168.47.186上啟動(dòng)Broker
cd /chj/app/rocketmq/&& nohup sh /chj/app/rocketmq/bin/mqbroker -c /chj/app/rocketmq/conf/2m-2s-async/broker-b-s.properties >/chj/log/rocketmq/broker-b-s.log >/dev/null 2>&1 &
四、rocketmq-console-ng部署
rocketmq-console-ng是rocketmq的一個(gè)可視化的監(jiān)控工具，項(xiàng)目地址：github地址，它可以用傳統(tǒng)的部署方式也可以使用docker的部署方式，我們選擇docker這種方式部署。

docker pull styletang/rocketmq-console-ng
docker run  -itd -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.47.183:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -p 8080:8080 -t styletang/rocketmq-console-ng

訪問(wèn)192.168.54.26:8080，查看cluster狀態(tài)

rocketmq集群部署（多master多slave異步）

PS：參考鏈接
http://blog.csdn.net/lovesomnus/article/details/51769977
http://blog.csdn.net/jayjjb/article/details/70140667

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享名稱：rocketmq集群部署（多master多slave異步）-創(chuàng)新互聯(lián)
網(wǎng)站路徑：http://muchs.cn/article2/cspsoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動(dòng)網(wǎng)站建設(shè)、用戶體驗(yàn)、微信小程序、軟件開發(fā)、App設(shè)計(jì)、App開發(fā)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容