Memcache及Redis分布式緩存集群方案特性使用場景優(yōu)缺點對比及選型是怎么樣的

Memcache及redis分布式緩存集群方案特性使用場景優(yōu)缺點對比及選型是怎么樣的，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

創(chuàng)新互聯(lián)建站主要從事網(wǎng)頁設計、PC網(wǎng)站建設（電腦版網(wǎng)站建設）、wap網(wǎng)站建設（手機版網(wǎng)站建設）、響應式網(wǎng)站、程序開發(fā)、網(wǎng)站優(yōu)化、微網(wǎng)站、微信平臺小程序開發(fā)等，憑借多年來在互聯(lián)網(wǎng)的打拼，我們在互聯(lián)網(wǎng)網(wǎng)站建設行業(yè)積累了豐富的成都網(wǎng)站制作、成都網(wǎng)站建設、網(wǎng)站設計、網(wǎng)絡營銷經(jīng)驗，集策劃、開發(fā)、設計、營銷、管理等多方位專業(yè)化運作于一體。

分布式緩存集群方案特性使用場景優(yōu)缺點對比及選型

分布式緩存特性：

1) 高性能:當傳統(tǒng)數(shù)據(jù)庫面臨大規(guī)模數(shù)據(jù)訪問時,磁盤I/O 往往成為性能瓶頸,從而導致過高的響應延遲.分布式緩存將高速內(nèi)存作為數(shù)據(jù)對象的存儲介質(zhì),數(shù)據(jù)以key/value 形式存儲,理想情況下可以獲得DRAM 級的讀寫性能;
2) 動態(tài)擴展性:支持彈性擴展,通過動態(tài)增加或減少節(jié)點應對變化的數(shù)據(jù)訪問負載,提供可預測的性能與擴展性;同時,最大限度地提高資源利用率;
3) 高可用性:可用性包含數(shù)據(jù)可用性與服務可用性兩方面.基于冗余機制實現(xiàn)高可用性,無單點失效(single point of failure),支持故障的自動發(fā)現(xiàn),透明地實施故障切換,不會因服務器故障而導致緩存服務中斷或數(shù)據(jù)丟失.動態(tài)擴展時自動均衡數(shù)據(jù)分區(qū),同時保障緩存服務持續(xù)可用;
4) 易用性:提供單一的數(shù)據(jù)與管理視圖;API 接口簡單,且與拓撲結構無關;動態(tài)擴展或失效恢復時無需人工配置;自動選取備份節(jié)點;多數(shù)緩存系統(tǒng)提供了圖形化的管理控制臺,便于統(tǒng)一維護;
5) 分布式代碼執(zhí)行(distributed code execution):將任務代碼轉移到各數(shù)據(jù)節(jié)點并行執(zhí)行,客戶端聚合返回結果,從而有效避免了緩存數(shù)據(jù)的移動與傳輸.最新的Java 數(shù)據(jù)網(wǎng)格規(guī)范JSR-347中加入了分布式代碼執(zhí)行與Map/reduce 的API 支持,各主流分布式緩存產(chǎn)品,如IBM WebSphere eXtreme Scale,VMware GemFire,GigaSpaces XAP 和Red Hat Infinispan 等也都支持這一新的編程模型.

分布式緩存應用場景：

1) 頁面緩存.用來緩存Web 頁面的內(nèi)容片段,包括HTML、CSS 和圖片等,多應用于社交網(wǎng)站等;
2) 應用對象緩存.緩存系統(tǒng)作為ORM 框架的二級緩存對外提供服務,目的是減輕數(shù)據(jù)庫的負載壓力,加速應用訪問;
3) 狀態(tài)緩存.緩存包括Session 會話狀態(tài)及應用橫向擴展時的狀態(tài)數(shù)據(jù)等,這類數(shù)據(jù)一般是難以恢復的,對可用性要求較高,多應用于高可用集群;（解決分布式Web部署的session同步問題）
4) 并行處理.通常涉及大量中間計算結果需要共享;
5) 事件處理.分布式緩存提供了針對事件流的連續(xù)查詢(continuous query)處理技術,滿足實時性需求;
6) 極限事務處理.分布式緩存為事務型應用提供高吞吐率、低延時的解決方案,支持高并發(fā)事務請求處理,多應用于鐵路、金融服務和電信等領域.
 

7）云計算領域提供分布式緩存服務（例如：青云、

UnitedStack等）

6）

任何需要用到緩存的地方，解決本地緩存數(shù)據(jù)量太小問題。分布式緩存能有效防止本地緩存失效數(shù)據(jù)庫雪崩現(xiàn)象。

兩大開源緩存系統(tǒng)對比， Memcache VS Redis：

1、Redis不僅僅支持簡單的k/v類型的數(shù)據(jù)，同時還提供list，set，zset，hash等數(shù)據(jù)結構的存儲。而 memcache只支持簡單數(shù)據(jù)類型，需要客戶端自己處理復雜對象

2、Redis支持數(shù)據(jù)的持久化，可以將內(nèi)存中的數(shù)據(jù)保持在磁盤中，重啟的時候可以再次加載進行使用（PS：持久化在rdb、aof）。Redis借助了fork命令的copy on write機制。在生成快照時，將當前進程fork出一個子進程，然后在子進程中循環(huán)所有的數(shù)據(jù)，將數(shù)據(jù)寫成為RDB文件。  AOF日志的全稱是append only file，從名字上我們就能看出來，它是一個追加寫入的日志文件。與一般數(shù)據(jù)庫的binlog不同的是，AOF文件是可識別的純文本，它的內(nèi)容就是一個個 的Redis標準命令。當然，并不是發(fā)送發(fā)Redis的所有命令都要記錄到AOF日志里面，只有那些會導致數(shù)據(jù)發(fā)生修改的命令才會追加到AOF文件。那么每一條修改數(shù)據(jù)的命令都生成一條日志。（PS：memcache不支持數(shù)據(jù)持久存儲）

3、由于Memcache沒有持久化機制，因此宕機所有緩存數(shù)據(jù)失效。Redis配置為持久化，宕機重啟后，將自動加載宕機時刻的數(shù)據(jù)到緩存系統(tǒng)中。具有更好的災備機制。

4、Memcache可以使用Magent在客戶端進行一致性hash做分布式。Redis支持在服務器端做分布式（PS:Twemproxy/Codis/Redis-cluster多種分布式實現(xiàn)方式）

5、Memcached的簡單限制就是鍵（key）和Value的限制。最大鍵長為250個字符?？梢越邮艿膬Υ鏀?shù)據(jù)不能超過1MB（可修改配置文件變大），因為這是典型slab 的最大值，不適合虛擬機使用。而Redis的Key長度支持到512k。

6、Redis使用的是單線程模型，保證了數(shù)據(jù)按順序提交。Memcache需要使用cas保證數(shù)據(jù)一致性。CAS（Check and Set）是一個確保并發(fā)一致性的機制，屬于“樂觀鎖”范疇；原理很簡單：拿版本號，操作，對比版本號，如果一致就操作，不一致就放棄任何操作

cpu利用。由于Redis只使用單核，而Memcached可以使用多核，所以平均每一個核上Redis在存儲小數(shù)據(jù)時比Memcached性能更 高。而在100k以上的數(shù)據(jù)中，Memcached性能要高于Redis 。（PS：Redis可以通過開啟多個實例來提高CPU利用率，Memcache默認是單線程，需要編譯指定參數(shù)才能支持多線程。由于分布式緩存是IO密集型系統(tǒng)，所以性能很多程度受限于網(wǎng)絡通信，memcache使用了libevent網(wǎng)絡庫，redis自己實現(xiàn)了一套自己通信的庫。線程也不是影響吞吐量的重要因素。如第一點來說，一般情況下，程序處理內(nèi)存數(shù)據(jù)的速度遠高于網(wǎng)卡接收的速度。使用線程好處是可以同時處理多條連接，在極端情況下，可能會提高響應速度。但是單線程有時候比多線程 或多進程更快，比需要考慮并發(fā)、鎖，也不會增加上下文切換等開銷，也即代碼更加簡潔，執(zhí)行效率更高。）

7、memcache內(nèi)存管理：使用Slab Allocation。原理相當簡單，預先分配一系列大小固定的組，然后根據(jù)數(shù)據(jù)大小選擇最合適的塊存儲。避免了內(nèi)存碎片。（缺點：不能變長，浪費了一定空間）memcached默認情況下下一個slab的最大值為前一個的1.25倍。8、redis內(nèi)存管理： Redis通過定義一個數(shù)組來記錄所有的內(nèi)存分配情況， Redis采用的是包裝的malloc/free，相較于Memcached的內(nèi)存 管理方法來說，要簡單很多。由于malloc 首先以鏈表的方式搜索已管理的內(nèi)存中可用的空間分配，導致內(nèi)存碎片比較多。

總結：

其實對于企業(yè)選型Memcache、Redis而言，更多還是應該看業(yè)務使用場景（因為Memcache、Redis兩者都具有足夠高的性能和穩(wěn)定性）。假若業(yè)務場景需要用到持久化緩存功能、或者支持多種數(shù)據(jù)結構的緩存功能，那么Redis則是最佳選擇。

（PS：Redis集群解決方式也優(yōu)于Memcache，Memcache在客戶端一致性hash的集群解決方案，Redis采用無中心的服務器端集群解決方案）

綜上所述：為了讓緩存系統(tǒng)能夠支持更多的業(yè)務場景，選擇Redis會更優(yōu)。（目前也越來越多的廠商選擇Redis）。

 

 

接下來重點對比Redis三大集群解決方案對比， Twemproxy VS Codis VS Redis-cluster

Redis集群三種常見的解決方案：

1、客戶端分片： 這種方案將分片工作放在業(yè)務程序端，程序代碼根據(jù)預先設置的路由規(guī)則，直接對多個Redis實例進行分布式訪問。這樣的好處是，不依賴于第三方分布式中間件，實現(xiàn)方法和代碼都自己掌控，可隨時調(diào)整，不用擔心踩到坑。 這實際上是一種靜態(tài)分片技術。Redis實例的增減，都得手工調(diào)整分片程序?；诖朔制瑱C制的開源產(chǎn)品，現(xiàn)在仍不多見。 這種分片機制的性能比代理式更好（少了一個中間分發(fā)環(huán)節(jié)）。但缺點是升級麻煩，對研發(fā)人員的個人依賴性強——需要有較強的程序開發(fā)能力做后盾。如果主力程序員離職，可能新的負責人，會選擇重寫一遍。 所以，這種方式下，可運維性較差。出現(xiàn)故障，定位和解決都得研發(fā)和運維配合著解決，故障時間變長。因此 這種方案，難以進行標準化運維，不太適合中小公司（除非有足夠的DevOPS）。

2、代理 分片：這種方案，將分片工作交給專門的代理程序來做。代理程序接收到來自業(yè)務程序的數(shù)據(jù)請求，根據(jù)路由規(guī)則，將這些請求分發(fā)給正確的Redis實例并返回給業(yè)務程序。 這種機制下，一般會選用第三方代理程序（而不是自己研發(fā)），因為后端有多個Redis實例，所以這類程序又稱為分布式中間件。 這樣的好處是，業(yè)務程序不用關心后端Redis實例，運維起來也方便。雖然會因此帶來些性能損耗，但對于Redis這種內(nèi)存讀寫型應用，相對而言是能容忍的。 這是我們推薦的集群實現(xiàn)方案。像基于該機制的開源產(chǎn)品Twemproxy，Codis便是其中代表，應用非常廣泛。

3、服務器端分片：建立在基于無中心分布式架構之上（沒有代理節(jié)點性能瓶頸問題）。Redis-Cluster即為官方基于該架構的解決方案。 Redis Cluster將所有Key映射到16384個Slot中，集群中每個Redis實例負責一部分，業(yè)務程序通過集成的Redis Cluster客戶端進行操作?？蛻舳丝梢韵蛉我粚嵗l(fā)出請求，如果所需數(shù)據(jù)不在該實例中，則該實例引導客戶端自動去對應實例讀寫數(shù)據(jù)。 Redis Cluster的成員管理（節(jié)點名稱、IP、端口、狀態(tài)、角色）等，都通過節(jié)點之間兩兩通訊，定期交換并更新。

接下來分別講解各解決方案代表產(chǎn)品實現(xiàn)方式優(yōu)缺點：

Twemproxy：
 

Twemproxy是一種代理分片機制，由Twitter開源。Twemproxy作為代理，可接受來自多個程序的訪問，按照路由規(guī)則，轉發(fā)給后臺的各個Redis服務器，再原路返回。這個方案順理成章地解決了單個Redis實例承載能力的問題。當然，Twemproxy本身也是單點，需要用Keepalived做高可用方案。這么些年來，Twemproxy是應用范圍最廣、穩(wěn)定性最高、最久經(jīng)考驗的分布式中間件。只是，他還有諸多不方便之處。Twemproxy最大的痛點在于，無法平滑地擴容/縮容。這樣增加了運維難度：業(yè)務量突增，需增加Redis服務器；業(yè)務量萎縮，需要減少Redis服務器。但對Twemproxy而言，基本上都很難操作?；蛘哒f，Twemproxy更加像服務器端靜態(tài)sharding。有時為了規(guī)避業(yè)務量突增導致的擴容需求，甚至被迫新開一個基于Twemproxy的Redis集群。Twemproxy另一個痛點是，運維不友好，甚至沒有控制面板。

Codis：

Codis由豌豆莢于2014年11月開源，基于Go和C開發(fā)，是近期涌現(xiàn)的、國人開發(fā)的優(yōu)秀開源軟件之一。現(xiàn)已廣泛用于豌豆莢的各種Redis業(yè)務場景，從各種壓力測試來看，穩(wěn)定性符合高效運維的要求。性能更是改善很多，最初比Twemproxy慢20%；現(xiàn)在比Twemproxy快近100%（條件：多實例，一般Value長度）。Codis具有可視化運維管理界面。Codis無疑是為解決Twemproxy缺點而出的新解決方案。因此綜合方面會由于Twemproxy很多。目前也越來越多公司選擇Codis。Codis引入了Group的概念，每個Group包括1個Redis Master及至少1個Redis Slave，這是和Twemproxy的區(qū)別之一。這樣做的好處是，如果當前Master有問題，則運維人員可通過Dashboard“自助式”切換到Slave，而不需要小心翼翼地修改程序配置文件。為支持數(shù)據(jù)熱遷移（Auto Rebalance），出品方修改了Redis Server源碼，并稱之為Codis Server。Codis采用預先分片（Pre-Sharding）機制，事先規(guī)定好了，分成1024個slots（也就是說，最多能支持后端1024個Codis Server），這些路由信息保存在ZooKeeper中。

Redis-cluster：

reids-cluster在redis3.0中推出，支持Redis分布式集群部署模式。采用無中心分布式架構。 所有的redis節(jié)點彼此互聯(lián)(PING-PONG機制),內(nèi)部使用二進制協(xié)議優(yōu)化傳輸速度和帶寬.節(jié)點的fail是通過集群中超過半數(shù)的節(jié)點檢測失效時才生效.客戶端與redis節(jié)點直連,不需要中間proxy層.客戶端不需要連接集群所有節(jié)點,連接集群中任何一個可用節(jié)點即可，減少了代理層，大大提高了性能。redis-cluster把所有的物理節(jié)點映射到[0-16383]slot上,cluster 負責維護node<->slot<->key之間的關系。目前Jedis已經(jīng)支持Redis-cluster。從計算架構或者性能方面無疑Redis-cluster是最佳的選擇方案。（PS：雖然Redis-cluster從方案選型上面比較占據(jù)優(yōu)勢，但是由于Redis-cluster剛推出不久，雖然官方宣傳已經(jīng)發(fā)布的是文檔版本，但穩(wěn)定性方面還有待驗證）

看完上述內(nèi)容，你們掌握Memcache及Redis分布式緩存集群方案特性使用場景優(yōu)缺點對比及選型是怎么樣的的方法了嗎？如果還想學到更多技能或想了解更多相關內(nèi)容，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

當前標題：Memcache及Redis分布式緩存集群方案特性使用場景優(yōu)缺點對比及選型是怎么樣的
標題鏈接：http://muchs.cn/article2/ipijoc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導航、Google、虛擬主機、用戶體驗、建站公司、電子商務

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)