Redis復(fù)制過程介紹

本篇內(nèi)容介紹了“redis 復(fù)制過程介紹”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),措勤企業(yè)網(wǎng)站建設(shè),措勤品牌網(wǎng)站建設(shè),網(wǎng)站定制,措勤網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,措勤網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

Redis 的復(fù)制功能分為同步( sync )和命令傳播( command propagate )兩個(gè)步驟：

同步用于將從服務(wù)器的數(shù)據(jù)庫(kù)狀態(tài)更新至主服務(wù)器當(dāng)前所處的數(shù)據(jù)庫(kù)狀態(tài)。
命令傳播則用于在主服務(wù)器的數(shù)據(jù)庫(kù)狀態(tài)被修改，導(dǎo)致主從服務(wù)器的數(shù)據(jù)庫(kù)狀態(tài)出現(xiàn)不一致時(shí)，讓主從服務(wù)器的數(shù)據(jù)庫(kù)重新回到一致狀態(tài)。

同步

Redis 使用 psync 命令完成主從數(shù)據(jù)同步，同步過程分為：全量復(fù)制和部分復(fù)制。

全量復(fù)制：一般用于初次復(fù)制場(chǎng)景，它會(huì)把主節(jié)點(diǎn)全部數(shù)據(jù)一次性發(fā)送給從節(jié)點(diǎn)發(fā)送給從節(jié)點(diǎn)，當(dāng)數(shù)據(jù)量較大時(shí)，會(huì)對(duì)主從節(jié)點(diǎn)和網(wǎng)絡(luò)造成很大的開銷。

部分復(fù)制：用于處理在主從復(fù)制中因網(wǎng)絡(luò)閃斷等原因造成的網(wǎng)絡(luò)丟失場(chǎng)景，當(dāng)從節(jié)點(diǎn)再次連接上主節(jié)點(diǎn)后，如果條件允許，主節(jié)點(diǎn)會(huì)補(bǔ)發(fā)丟失數(shù)據(jù)給從節(jié)點(diǎn)。因?yàn)檠a(bǔ)發(fā)的數(shù)據(jù)遠(yuǎn)遠(yuǎn)小于全量數(shù)據(jù)，可以有效避免全量復(fù)制的過高開銷。

psync 命令運(yùn)行需要以下組件支持：

主從節(jié)點(diǎn)各自復(fù)制偏移量
主節(jié)點(diǎn)復(fù)制積壓緩沖區(qū)
主節(jié)點(diǎn)運(yùn)行 id

參與復(fù)制的從節(jié)點(diǎn)都會(huì)維護(hù)自身復(fù)制偏移量。主節(jié)點(diǎn)在處理完寫命令后，會(huì)把命令的字節(jié)長(zhǎng)度做累加記錄，統(tǒng)計(jì)在 info replication 中的 masterreploffset 指標(biāo)中。從節(jié)點(diǎn)在接收到主節(jié)點(diǎn)發(fā)送的命令后，也會(huì)累加記錄自身的偏移量，并且會(huì)每秒鐘上報(bào)自身的復(fù)制偏移量給主節(jié)點(diǎn)。通過對(duì)比主從節(jié)點(diǎn)的復(fù)制偏移量，可以判斷主從節(jié)點(diǎn)數(shù)據(jù)是否一致。

復(fù)制積壓緩沖區(qū)是保存在主節(jié)點(diǎn)的一個(gè)固定長(zhǎng)度的隊(duì)列，默認(rèn)大小為 1MB，當(dāng)主節(jié)點(diǎn)有連接的從節(jié)點(diǎn)時(shí)被創(chuàng)建。主節(jié)點(diǎn)響應(yīng)寫命令時(shí)，不但會(huì)把命令發(fā)送給從節(jié)點(diǎn)，還會(huì)寫入復(fù)制積壓緩沖區(qū)中。

復(fù)制積壓緩沖區(qū)大小有限，只能保存最近的復(fù)制數(shù)據(jù)，用于部分復(fù)制和復(fù)制命令丟失時(shí)的數(shù)據(jù)補(bǔ)救。

每個(gè) Redis 節(jié)點(diǎn)啟動(dòng)后都會(huì)動(dòng)態(tài)分配一個(gè) 40 位的十六進(jìn)制字符串作為運(yùn)行 ID。運(yùn)行 ID 的主要作用是用來唯一標(biāo)識(shí) Redis 節(jié)點(diǎn)，比如說從節(jié)點(diǎn)保存主節(jié)點(diǎn)的運(yùn)行 ID 來識(shí)別自己正在復(fù)制的是哪個(gè)主節(jié)點(diǎn)。

全量同步

Redis 復(fù)制過程介紹

slaveof 命令的執(zhí)行

1) 從節(jié)點(diǎn)發(fā)送 psync 命令進(jìn)行數(shù)據(jù)同步，由于是第一次進(jìn)行復(fù)制，從節(jié)點(diǎn)沒有復(fù)制偏移量和主節(jié)點(diǎn)的運(yùn)行ID，所以發(fā)送的命令是 PSYNC ? -1。
2) 主節(jié)點(diǎn)根據(jù) PSYNC ? -1 解析出當(dāng)前為全量復(fù)制，回復(fù) + FULLRESYNC 響應(yīng)。
3) 從節(jié)點(diǎn)接收主節(jié)點(diǎn)的響應(yīng)數(shù)據(jù)保存運(yùn)行 ID 和偏移量 offset。
4) 主節(jié)點(diǎn)執(zhí)行 bgsave 保存 RDB 文件到本地，有關(guān) RDB 的知識(shí)可以查看《Redis RDB 持久化詳解》
5) 主節(jié)點(diǎn)發(fā)送 RDB 文件給從節(jié)點(diǎn)，從節(jié)點(diǎn)把接收的 RDB 文件保存在本地并直接作為從節(jié)點(diǎn)的數(shù)據(jù)文件，接收完 RDB 后從節(jié)點(diǎn)打印相關(guān)日志，可以在日志中查看主節(jié)點(diǎn)發(fā)送的數(shù)據(jù)量。

需要注意，對(duì)于數(shù)據(jù)量較大的主節(jié)點(diǎn)，比如生成的 RDB 文件超過 6GB 以上時(shí)要格外小心。如果傳輸 RDB 的時(shí)間超過 repl-timeout 所配置的值，從節(jié)點(diǎn)將發(fā)起接收 RDB 文件并清理已經(jīng)下載的臨時(shí)文件，導(dǎo)致全量復(fù)制失敗。

6) 對(duì)于主節(jié)點(diǎn)開始保存 RDB 快照到從節(jié)點(diǎn)接收完成期間，主節(jié)點(diǎn)仍然響應(yīng)讀命令，因此主節(jié)點(diǎn)會(huì)把這期間寫命令保存在復(fù)制客戶端緩沖區(qū)內(nèi)，當(dāng)從節(jié)點(diǎn)加載完 RDB 文件后，主節(jié)點(diǎn)再把緩沖區(qū)內(nèi)的數(shù)據(jù)發(fā)送給從節(jié)點(diǎn)，保證主從之間數(shù)據(jù)一致性。

如果主節(jié)點(diǎn)創(chuàng)建和傳輸 RDB 的時(shí)間過長(zhǎng)，可能會(huì)出現(xiàn)主節(jié)點(diǎn)復(fù)制客戶端緩沖區(qū)溢出。默認(rèn)配置為 client-output-buffer-limit slave 256MB 64MB 60，如果60s內(nèi)緩沖區(qū)消耗持續(xù)大于64MB或者直接超過256MB時(shí)，主節(jié)點(diǎn)將直接關(guān)閉復(fù)制客戶端連接，造成全量同步失敗。

7) 從節(jié)點(diǎn)接收完主節(jié)點(diǎn)傳送來的全部數(shù)據(jù)后會(huì)清空自身舊數(shù)據(jù)，該步驟對(duì)應(yīng)如下日志。
8) 從節(jié)點(diǎn)清空數(shù)據(jù)后開始加載 RDB 文件，對(duì)于加大的 RDB 文件，這一步操作依然比較耗時(shí)，可以通過計(jì)算日志之間的時(shí)間差來判斷加載 RDB 的總耗時(shí)。
9) 收到 SYNC 命令的主服務(wù)器執(zhí)行 BGSAVE 命令，在后臺(tái)生成一個(gè) RDB 文件，并使用一個(gè)緩沖區(qū)記錄從現(xiàn)在開始執(zhí)行的所有寫命令。
10) 當(dāng)主服務(wù)器的 BGSAVE 命令執(zhí)行完畢時(shí)，主服務(wù)器會(huì)將 GBSAVE 命令生成的 RDB 文件發(fā)送給從服務(wù)器，從服務(wù)器接收并載入這個(gè) RDB 文件，將自己的數(shù)據(jù)庫(kù)狀態(tài)更新至主服務(wù)器執(zhí)行 BGSAVE 命令時(shí)的數(shù)據(jù)庫(kù)狀態(tài)。
11) 主服務(wù)器將記錄在緩沖區(qū)里邊的所有寫命令發(fā)送給從服務(wù)器，從服務(wù)器執(zhí)行這些寫命令，將自己的數(shù)據(jù)庫(kù)狀態(tài)更新至主服務(wù)器數(shù)據(jù)庫(kù)當(dāng)前所處的狀態(tài)。

通過分析全量復(fù)制的所有流程，讀者會(huì)發(fā)現(xiàn)全量復(fù)制是一個(gè)非常耗時(shí)費(fèi)力的操作。它時(shí)間開銷主要包括：

主節(jié)點(diǎn) bgsave 時(shí)間
RDB 文件網(wǎng)絡(luò)傳輸時(shí)間
從節(jié)點(diǎn)清空數(shù)據(jù)時(shí)間
從節(jié)點(diǎn)加載 RDB 的時(shí)間
可能的 AOF 重寫時(shí)間

全量同步過程中不僅會(huì)消耗大量時(shí)間，還會(huì)進(jìn)行多次持久化相關(guān)操作和網(wǎng)絡(luò)數(shù)據(jù)傳輸，這期間會(huì)大量消耗主從節(jié)點(diǎn)所在服務(wù)器的 CPU、內(nèi)存和網(wǎng)絡(luò)資源。所以，除了第一次復(fù)制是采用全量同步無法避免，其他場(chǎng)景應(yīng)該規(guī)避全量復(fù)制，采取部分同步功能。

部分同步

部分復(fù)制主要是 Redis 針對(duì)全量復(fù)制的過高開銷做出的一種優(yōu)化措施，使用 psync {runId} {offset} 命令實(shí)現(xiàn)。當(dāng)從節(jié)點(diǎn)正在復(fù)制主節(jié)點(diǎn)時(shí)，如果出現(xiàn)網(wǎng)絡(luò)閃斷或者命令丟失等異常情況時(shí)，從節(jié)點(diǎn)會(huì)向主節(jié)點(diǎn)要求補(bǔ)發(fā)丟失的命令數(shù)據(jù)，如果主節(jié)點(diǎn)的復(fù)制積壓緩沖區(qū)存在這部分?jǐn)?shù)據(jù)則直接發(fā)送給從節(jié)點(diǎn)，這樣就保證了主從節(jié)點(diǎn)復(fù)制的一致性。補(bǔ)發(fā)的這部分?jǐn)?shù)據(jù)一般遠(yuǎn)遠(yuǎn)小于全量數(shù)據(jù)，所以開銷很小。

Redis 復(fù)制過程介紹

1) 當(dāng)主從節(jié)點(diǎn)之間網(wǎng)絡(luò)出現(xiàn)中斷時(shí)，如果超過了 repl-timeout 時(shí)間，主節(jié)點(diǎn)會(huì)認(rèn)為從節(jié)點(diǎn)故障并中斷復(fù)制連接。
2) 主從連接中斷期間主節(jié)點(diǎn)依然響應(yīng)命令，但因復(fù)制連接中斷命令無法發(fā)送給從節(jié)點(diǎn)，不過主節(jié)點(diǎn)內(nèi)部存在復(fù)制積壓緩沖區(qū)( repl-backlog-buffer )，依然可以保存最近一段時(shí)間的寫命令數(shù)據(jù)，默認(rèn)最大緩存 1MB。
3) 當(dāng)主從節(jié)點(diǎn)網(wǎng)絡(luò)恢復(fù)后，從節(jié)點(diǎn)會(huì)再次連上主節(jié)點(diǎn)。
4) 當(dāng)主從連接恢復(fù)后，由于從節(jié)點(diǎn)之前保存了自身已復(fù)制的偏移量和主節(jié)點(diǎn)的運(yùn)行ID。因此會(huì)把它們作為 psync 參數(shù)發(fā)送給主節(jié)點(diǎn)，要求進(jìn)行補(bǔ)發(fā)復(fù)制操作。
5) 主節(jié)點(diǎn)接到 psync 命令后首先核對(duì)參數(shù) runId 是否與自身一致，如果一致，說明之前復(fù)制的是當(dāng)前主節(jié)點(diǎn)；之后根據(jù)參數(shù) offset 在自身復(fù)制積壓緩沖區(qū)查找，如果偏移量之后的數(shù)據(jù)存在緩沖區(qū)中，則對(duì)從節(jié)點(diǎn)發(fā)送 +CONTINUE 響應(yīng)，表示可以進(jìn)行部分復(fù)制。
6) 主節(jié)點(diǎn)根據(jù)偏移量把復(fù)制積壓緩沖區(qū)里的數(shù)據(jù)發(fā)送給從節(jié)點(diǎn)，保證主從復(fù)制進(jìn)入正常狀態(tài)。

心跳檢測(cè)

主從節(jié)點(diǎn)在建立復(fù)制后，它們之間維護(hù)著長(zhǎng)連接并彼此發(fā)送心跳命令，如下圖所示。

主從心跳判斷機(jī)制如下所示：

1) 主從節(jié)點(diǎn)彼此都有心跳檢測(cè)機(jī)制，各自模擬成對(duì)方的客戶端進(jìn)行通信，通過 client list 命令查看復(fù)制相關(guān)客戶端信息，主節(jié)點(diǎn)的連接狀態(tài)為 flags=M，從節(jié)點(diǎn)連接狀態(tài)為 flags=S。
2) 主節(jié)點(diǎn)默認(rèn)每隔 10 秒對(duì)從節(jié)點(diǎn)發(fā)送 ping 命令，判斷從節(jié)點(diǎn)的存活性和連接狀態(tài)?？梢酝ㄟ^參數(shù) repl-ping-slave-period 控制發(fā)送頻率。
3) 從節(jié)點(diǎn)在主線程中每隔 1 秒發(fā)送 replconf ack { offset } 命令，給主節(jié)點(diǎn)上報(bào)自己當(dāng)前的復(fù)制偏移量。

replconf 命令不僅能實(shí)時(shí)監(jiān)測(cè)主從節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)，還能上報(bào)從節(jié)點(diǎn)復(fù)制偏移量。主節(jié)點(diǎn)會(huì)根據(jù)從節(jié)點(diǎn)上傳的偏移量檢查復(fù)制數(shù)據(jù)是否丟失，如果從節(jié)點(diǎn)數(shù)據(jù)丟失，再?gòu)闹鞴?jié)點(diǎn)的復(fù)制緩存區(qū)中拉取丟失的數(shù)據(jù)發(fā)送給該從節(jié)點(diǎn)。

異步復(fù)制和命令傳播

主節(jié)點(diǎn)不但負(fù)責(zé)數(shù)據(jù)讀寫，還負(fù)責(zé)把寫命令同步給從節(jié)點(diǎn)。寫命令的發(fā)送過程是異步完成，也就是說主節(jié)點(diǎn)自身處理完寫命令后直接返回給客戶端，并不等待從節(jié)點(diǎn)復(fù)制完成。

Redis 復(fù)制過程介紹

這個(gè)異步過程由命令傳播來處理，它不僅會(huì)將寫命令發(fā)送給所有從服務(wù)器，還會(huì)將寫命令入隊(duì)到復(fù)制積壓緩沖區(qū)里邊。

“Redis 復(fù)制過程介紹”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

網(wǎng)站題目：Redis復(fù)制過程介紹
鏈接分享：http://muchs.cn/article44/ghiohe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、營(yíng)銷型網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作、網(wǎng)站制作、手機(jī)網(wǎng)站建設(shè)、網(wǎng)站維護(hù)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容