如何保證Redis的高并發(fā)

小編給大家分享一下如何保證redis的高并發(fā)，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

創(chuàng)新互聯(lián)專注于金臺企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站建設(shè),商城開發(fā)。金臺網(wǎng)站建設(shè)公司,為金臺等地區(qū)提供建站服務(wù)。全流程按需網(wǎng)站開發(fā)，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

　單機(jī)的redis幾乎不太可能說QPS超過10萬+，一般在幾萬。

　除非一些特殊情況，比如你的機(jī)器性能特別好，配置特別高，物理機(jī)，維護(hù)做的特別好，而且你的整體的操作不是太復(fù)雜。

　Redis通過主從架構(gòu)，實(shí)現(xiàn)讀寫分離，主節(jié)點(diǎn)負(fù)責(zé)寫，并將數(shù)據(jù)同步給其他從節(jié)點(diǎn)，從節(jié)點(diǎn)負(fù)責(zé)讀，從而實(shí)現(xiàn)高并發(fā)。

　Redis高并發(fā)的同時(shí)，還需要容納大量的數(shù)據(jù)：一主多從，每個(gè)實(shí)例都容納了完整的數(shù)據(jù)，比如redis主就10G的內(nèi)存量，其實(shí)你就最對只能容納10g的數(shù)據(jù)量。如果你的緩存要容納的數(shù)據(jù)量很大，達(dá)到了幾十g，甚至幾百g，或者是幾t，那你就需要redis集群，而且用redis集群之后，可以提供可能每秒幾十萬的讀寫并發(fā)。

replication的核心機(jī)制

　redis采用異步方式復(fù)制數(shù)據(jù)到slave節(jié)點(diǎn)，不過redis 2.8開始，slave node會周期性地確認(rèn)自己每次復(fù)制的數(shù)據(jù)量
　一個(gè)master node是可以配置多個(gè)slave node的
　slave node也可以連接其他的slave node
　slave node做復(fù)制的時(shí)候，是不會block master node的正常工作的
　slave node在做復(fù)制的時(shí)候，也不會block對自己的查詢操作，它會用舊的數(shù)據(jù)集來提供服務(wù); 但是復(fù)制完成的時(shí)候，需要?jiǎng)h除舊數(shù)據(jù)集，加載新數(shù)據(jù)集，這個(gè)時(shí)候就會暫停對外服務(wù)了
　slave node主要用來進(jìn)行橫向擴(kuò)容，做讀寫分離，擴(kuò)容的slave node可以提高讀的吞吐量

master持久化對于主從架構(gòu)的安全保障的意義

　如果采用了主從架構(gòu)，那么建議必須開啟master node的持久化！

　不建議用slave node作為master node的數(shù)據(jù)熱備，因?yàn)槟菢拥脑挘绻汴P(guān)掉master的持久化，可能在master宕機(jī)重啟的時(shí)候數(shù)據(jù)是空的，然后可能一經(jīng)過復(fù)制，salve node數(shù)據(jù)也丟了

　第二個(gè)，master的各種備份方案，要不要做，萬一說本地的所有文件丟失了; 從備份中挑選一份rdb去恢復(fù)master; 這樣才能確保master啟動的時(shí)候，是有數(shù)據(jù)的

master同步數(shù)據(jù)給slave的過程

　當(dāng)啟動一個(gè)slave node的時(shí)候，它會發(fā)送一個(gè)PSYNC命令給master node

　如果這是slave node重新連接master node，那么master node僅僅會復(fù)制給slave部分缺少的數(shù)據(jù); 否則如果是slave node第一次連接master node，那么會觸發(fā)一次full resynchronization

　開始full resynchronization的時(shí)候，master會啟動一個(gè)后臺線程，開始生成一份RDB快照文件，同時(shí)還會將從客戶端收到的所有寫命令緩存在內(nèi)存中。

　RDB文件生成完畢之后，master會將這個(gè)RDB發(fā)送給slave，slave會先寫入本地磁盤，然后再從本地磁盤加載到內(nèi)存中。然后master會將內(nèi)存中緩存的寫命令發(fā)送給slave，slave也會同步這些數(shù)據(jù)。

　slave node如果跟master node有網(wǎng)絡(luò)故障，斷開了連接，會自動重連。master如果發(fā)現(xiàn)有多個(gè)slave node都來重新連接，僅僅會啟動一個(gè)rdb save操作，用一份數(shù)據(jù)服務(wù)所有slave node。

主從復(fù)制的斷點(diǎn)續(xù)傳

　從redis 2.8開始，就支持主從復(fù)制的斷點(diǎn)續(xù)傳，如果主從復(fù)制過程中，網(wǎng)絡(luò)連接斷掉了，那么可以接著上次復(fù)制的地方，繼續(xù)復(fù)制下去，而不是從頭開始復(fù)制一份

　master node會在內(nèi)存中常見一個(gè)backlog，master和slave都會保存一個(gè)replica offset還有一個(gè)master id，offset就是保存在backlog中的。

　如果master和slave網(wǎng)絡(luò)連接斷掉了，slave會讓master從上次的replica offset開始繼續(xù)復(fù)制

　但是如果沒有找到對應(yīng)的offset，那么就會執(zhí)行一次resynchronization

無磁盤化復(fù)制

　master在內(nèi)存中直接創(chuàng)建rdb，然后發(fā)送給slave，不會在自己本地落地磁盤了

　repl-diskless-sync
　repl-diskless-sync-delay，等待一定時(shí)長再開始復(fù)制，因?yàn)橐雀鄐lave重新連接過來

過期key處理

　slave不會過期key，只會等待master過期key。

　如果master過期了一個(gè)key，或者通過LRU淘汰了一個(gè)key，那么會模擬一條del命令發(fā)送給slave。

復(fù)制的完整流程

　slave node啟動，僅僅保存master node的信息，包括master node的host和ip（redis.conf里面的slaveof配置的），但是復(fù)制流程沒開始

　slave node內(nèi)部有個(gè)定時(shí)任務(wù)，每秒檢查是否有新的master node要連接和復(fù)制，如果發(fā)現(xiàn)，就跟master node建立socket網(wǎng)絡(luò)連接
　slave node發(fā)送ping命令給master node
　口令認(rèn)證，如果master設(shè)置了requirepass，那么salve node必須發(fā)送masterauth的口令過去進(jìn)行認(rèn)證
　master node第一次執(zhí)行全量復(fù)制，將所有數(shù)據(jù)發(fā)給slave node
　master node后續(xù)持續(xù)將寫命令，異步復(fù)制給slave node

數(shù)據(jù)同步相關(guān)的核心機(jī)制

指的就是第一次slave連接msater的時(shí)候，執(zhí)行的全量復(fù)制，那個(gè)過程里面你的一些細(xì)節(jié)的機(jī)制

（1）master和slave都會維護(hù)一個(gè)offset

　master會在自身不斷累加offset，slave也會在自身不斷累加offset
　slave每秒都會上報(bào)自己的offset給master，同時(shí)master也會保存每個(gè)slave的offset

　這個(gè)倒不是說特定就用在全量復(fù)制的，主要是master和slave都要知道各自的數(shù)據(jù)的offset，才能知道互相之間的數(shù)據(jù)不一致的情況

（2）backlog

　master node有一個(gè)backlog，默認(rèn)是1MB大小
　master node給slave node復(fù)制數(shù)據(jù)時(shí)，也會將數(shù)據(jù)在backlog中同步寫一份
　backlog主要是用來做全量復(fù)制中斷候的增量復(fù)制的

（3）master run id

　info server，可以看到master run id
　如果根據(jù)host+ip定位master node，是不靠譜的，如果master node重啟或者數(shù)據(jù)出現(xiàn)了變化，那么slave node應(yīng)該根據(jù)不同的run id區(qū)分，run id不同就做全量復(fù)制
　如果需要不更改run id重啟redis，可以使用redis-cli debug reload命令

（4）psync

　從節(jié)點(diǎn)使用psync從master node進(jìn)行復(fù)制，psync runid offset
　master node會根據(jù)自身的情況返回響應(yīng)信息，可能是FULLRESYNC runid offset觸發(fā)全量復(fù)制，可能是CONTINUE觸發(fā)增量復(fù)制

全量復(fù)制

　master執(zhí)行bgsave，在本地生成一份rdb快照文件
　master node將rdb快照文件發(fā)送給salve node，如果rdb復(fù)制時(shí)間超過60秒（repl-timeout），那么slave node就會認(rèn)為復(fù)制失敗，可以適當(dāng)調(diào)節(jié)大這個(gè)參數(shù)
　對于千兆網(wǎng)卡的機(jī)器，一般每秒傳輸100MB，6G文件，很可能超過60s
　master node在生成rdb時(shí)，會將所有新的寫命令緩存在內(nèi)存中，在salve node保存了rdb之后，再將新的寫命令復(fù)制給salve node
　client-output-buffer-limit slave 256MB 64MB 60，如果在復(fù)制期間，內(nèi)存緩沖區(qū)持續(xù)消耗超過64MB，或者一次性超過256MB，那么停止復(fù)制，復(fù)制失敗
　slave node接收到rdb之后，清空自己的舊數(shù)據(jù)，然后重新加載rdb到自己的內(nèi)存中，同時(shí)基于舊的數(shù)據(jù)版本對外提供服務(wù)
　如果slave node開啟了AOF，那么會立即執(zhí)行BGREWRITEAOF，重寫AOF

增量復(fù)制

　如果全量復(fù)制過程中，master-slave網(wǎng)絡(luò)連接斷掉，那么salve重新連接master時(shí)，會觸發(fā)增量復(fù)制
　master直接從自己的backlog中獲取部分丟失的數(shù)據(jù)，發(fā)送給slave node，默認(rèn)backlog就是1MB
　msater就是根據(jù)slave發(fā)送的psync中的offset來從backlog中獲取數(shù)據(jù)的

heartbeat

　主從節(jié)點(diǎn)互相都會發(fā)送heartbeat信息

　master默認(rèn)每隔10秒發(fā)送一次heartbeat，salve node每隔1秒發(fā)送一個(gè)heartbeat

異步復(fù)制

　master每次接收到寫命令之后，現(xiàn)在內(nèi)部寫入數(shù)據(jù)，然后異步發(fā)送給slave node

看完了這篇文章，相信你對如何保證Redis的高并發(fā)有了一定的了解，想了解更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

網(wǎng)站標(biāo)題：如何保證Redis的高并發(fā)
轉(zhuǎn)載源于：http://www.muchs.cn/article26/gehejg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、全網(wǎng)營銷推廣、網(wǎng)站排名、企業(yè)建站、商城網(wǎng)站、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)