MongoDB分片在部署與維護(hù)管理中常見的事項(xiàng)有哪些

這篇文章主要為大家展示了“MongoDB分片在部署與維護(hù)管理中常見的事項(xiàng)有哪些”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“MongoDB分片在部署與維護(hù)管理中常見的事項(xiàng)有哪些”這篇文章吧。

成都創(chuàng)新互聯(lián)專注于中大型企業(yè)的成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)和網(wǎng)站改版、網(wǎng)站營(yíng)銷服務(wù)，追求商業(yè)策劃與數(shù)據(jù)分析、創(chuàng)意藝術(shù)與技術(shù)開發(fā)的融合，累計(jì)客戶近千家，服務(wù)滿意度達(dá)97%。幫助廣大客戶順利對(duì)接上互聯(lián)網(wǎng)浪潮，準(zhǔn)確優(yōu)選出符合自己需要的互聯(lián)網(wǎng)運(yùn)用，我們將一直專注品牌網(wǎng)站建設(shè)和互聯(lián)網(wǎng)程序開發(fā)，在前進(jìn)的路上，與客戶一起成長(zhǎng)！

分片（sharding）是MongoDB將大型集合分割到不同服務(wù)器（或者說集群）上所采用的方法，主要為應(yīng)對(duì)高吞吐量與大數(shù)據(jù)量的應(yīng)用場(chǎng)景提供了方法。

將數(shù)據(jù)分散到不同的機(jī)器上，不需要功能強(qiáng)大的服務(wù)器就可以存儲(chǔ)更多的數(shù)據(jù)和處理更大的負(fù)載。基本思想就是將集合切成小塊，這些塊分散到若干片里，每個(gè)片只負(fù)責(zé)總數(shù)據(jù)的一部分，最后通過一個(gè)均衡器來對(duì)各個(gè)分片進(jìn)行均衡（數(shù)據(jù)遷移）。通過一個(gè)名為mongos的路由進(jìn)程進(jìn)行操作，mongos知道數(shù)據(jù)和片的對(duì)應(yīng)關(guān)系（通過配置服務(wù)器）。大部分使用場(chǎng)景都是解決磁盤空間的問題，對(duì)于寫入有可能會(huì)變差（+++里面的說明+++），查詢則盡量避免跨分片查詢。

使用分片的時(shí)機(jī)：

1，機(jī)器的磁盤不夠用了。使用分片解決磁盤空間的問題。

2，單個(gè)mongod已經(jīng)不能滿足寫數(shù)據(jù)的性能要求。通過分片讓寫壓力分散到各個(gè)分片上面，使用分片服務(wù)器自身的資源。

3，想把大量數(shù)據(jù)放到內(nèi)存里提高性能。和上面一樣，通過分片使用分片服務(wù)器自身的資源。

和既有的分庫分表、分區(qū)方案相比，MongoDB的最大區(qū)別在于它幾乎能自動(dòng)完成所有事情，只要告訴MongoDB要分配數(shù)據(jù)，它就能自動(dòng)維護(hù)數(shù)據(jù)在不同服務(wù)器之間的均衡。

一. 分片的集群組件

1.Mongos 【路由】

作為請(qǐng)求的訪問入口，所有的請(qǐng)求都由mongos來路由、分發(fā)、合并，這些動(dòng)作對(duì)客戶端driver透明，用戶連接mongos就像連接mongod一樣使用。Mongos會(huì)根據(jù)請(qǐng)求類型及shard key將請(qǐng)求路由到對(duì)應(yīng)的Shard。

2.Config Server 【配置服務(wù)器】

存儲(chǔ)Sharding Cluster 的所有元數(shù)據(jù)，所有的元數(shù)據(jù)都存儲(chǔ)在config數(shù)據(jù)庫；

*保存每個(gè)分片上的chunk的信息 * 保存chunk上的片鍵范圍。

3. Shard 【分片】

存儲(chǔ)應(yīng)用數(shù)據(jù)記錄。

二. 分片優(yōu)勢(shì)

1.對(duì)集群進(jìn)行抽象，讓集群“不可見”，分片對(duì)應(yīng)用系統(tǒng)是透明的。

Mongos是專有路由進(jìn)程，其會(huì)將客戶端發(fā)來的請(qǐng)求準(zhǔn)確無誤的路由到集群中的一個(gè)或者一組服務(wù)器上，同時(shí)會(huì)把接收到的響應(yīng)拼裝起來發(fā)回到客戶端。

2.保證集群總是可讀寫

將MongoDB的分片和復(fù)制集功能結(jié)合使用，在確保數(shù)據(jù)分片到多臺(tái)服務(wù)器的同時(shí)，也確保了每分?jǐn)?shù)據(jù)都有相應(yīng)的備份，可以確保有服務(wù)器壞掉時(shí)，其他的從庫可以立即接替壞掉的部分繼續(xù)工作。提高了集群的可用性和可靠性。

3.使集群易于擴(kuò)展

當(dāng)系統(tǒng)需要更多的空間和資源的時(shí)候，MongoDB使我們可以按需方便的擴(kuò)充系統(tǒng)容量。

三. 分片部署注意事項(xiàng)（常見錯(cuò)誤）

1.配置可復(fù)制集作為分片節(jié)點(diǎn)與配置單獨(dú)使用的可復(fù)制集基本一樣。但啟動(dòng)參數(shù)中需指定—shardsvr參數(shù)。

否則，在啟動(dòng)數(shù)據(jù)庫分片時(shí)報(bào)錯(cuò)： {"code" : 193,"ok" : 0, "errmsg" : "Cannot accept sharding commands if not started with --shardsvr“} 。

2.創(chuàng)建配置服務(wù)器集群時(shí)，不能設(shè)置見證節(jié)點(diǎn)。

否則，報(bào)錯(cuò) "errmsg" :  "Arbiters are not allowed in replica set configurations being used for config servers" 。

3.配置Mongos 實(shí)例時(shí)，請(qǐng)不要配置dbpath參數(shù)。

否則，設(shè)置dbpath參數(shù)，服務(wù)無法正常啟動(dòng)，報(bào)錯(cuò)：Error parsing INI config file: unrecognised option 'dbpath'。

4.配置Mongos 實(shí)例時(shí)，需設(shè)置Keyfile。

否則，不設(shè)置Keyfile，Service無法正常啟動(dòng)， 報(bào)錯(cuò)：2018-05-10T15:30:26.791+0800 W SHARDING [mongosMain] Error initializing sharding state, sleeping for 2 seconds and trying again :: caused by :: Unauthorized: Error loading clusterID :: caused by :: not authorized on config to execute command { find: “version”, readConcern: { level: “majority”, afterOpTime: { ts: Timestamp 1525937413000|2, t: 1 } }, maxTimeMS: 30000

5.分片集合設(shè)置。

分片不會(huì)默認(rèn)生成，需要先在數(shù)據(jù)庫中啟動(dòng)分片（sh.enableSharding(“DBName”) ），然后再設(shè)置集合分片（sh.shardCollection(“Collection”{片鍵}) ）

四. 分片管理的注意事項(xiàng)（常用命令）

1.檢查shards 配置及狀態(tài)

db.runCommand({listshards:1})

2. 檢查數(shù)據(jù)庫主片的地址以及是否分區(qū)

db.getSiblingDB("config").databases.find()

3. 檢查數(shù)據(jù)塊的數(shù)量

db.chunks.count() --需切換到配置數(shù)據(jù)庫（config）

4. 查看分片的詳細(xì)信息，包括數(shù)據(jù)庫信息和范圍信息

sh.status()

5. 索引是優(yōu)化查詢性能的重要手段。當(dāng)在分片集合上聲明索引時(shí)，每個(gè)分片都會(huì)為自己的集合部分定義單獨(dú)的索引。分片集合只允許在_id字段和分片鍵上建立唯一索引。

6. 分割和遷移 MongoDB底層依賴2個(gè)機(jī)制來保持集群的平衡：分割和遷移。

分割是把一個(gè)大的數(shù)據(jù)塊分割為2個(gè)更小的數(shù)據(jù)塊的過程。遷移就是在分片之間移動(dòng)數(shù)據(jù)塊的過程。當(dāng)某些分片服務(wù)器包含的數(shù)據(jù)塊數(shù)據(jù)量大大超過其他分片服務(wù)器時(shí)就會(huì)觸發(fā)遷移的過程，這個(gè)觸發(fā)器叫做遷移回合（migration round）

6.1 遷移觸發(fā)條件

6.2 查看Balancer 進(jìn)程是否開啟 sh.getBalancerState()

6.3 停Balancer 進(jìn)程 sh.stopBalancer()和開啟Balancer 進(jìn)程

6.4. 默認(rèn)情況下 Balancer 進(jìn)程一直在運(yùn)行，為了降低Balancer進(jìn)程對(duì)系統(tǒng)的運(yùn)行，可以為Balancer進(jìn)程設(shè)置運(yùn)行時(shí)間窗口，讓Balancer進(jìn)程在指定的時(shí)間窗口操作。

6.4.1 例如設(shè)置Balancer進(jìn)程在23:00到6:00時(shí)間窗口內(nèi)執(zhí)行。

db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "23:00", stop : "6:00" } } }, true ) ;

6.4.2 刪除Balancer進(jìn)程運(yùn)行時(shí)間窗口

6.5. 查看塊的范圍

6.5.1 如果集合數(shù)據(jù)量較小，可以直接通過sh.status()查看

6.5.2 如果集合數(shù)據(jù)量較大，sh.status()無法反應(yīng)此集合的分塊信息。此時(shí)，可通過執(zhí)行以下命令查看printShardingStatus(db.getSisterDB("config"),1);

6.5.3 也可將命令切換到config數(shù)據(jù)庫下，執(zhí)行db.chunks.find()查看。可以輸入制定參數(shù)，例如，查看分片repsms2，集合cloud-docs.PushMessageRecord的塊情況（cloud-docs為數(shù)據(jù)庫名稱）

db.chunks.find({"shard" : "repsms2","ns" : "cloud-docs.PushMessageRecord"}).pretty()

五. 備注

分片集群管理的數(shù)據(jù)量比較大，并且分片的架構(gòu)相對(duì)比較復(fù)雜。所以，一定在業(yè)務(wù)需求需要上分片時(shí)，再上分片，且不可準(zhǔn)求“炫”的技術(shù)而上分片。另外，上線后，相關(guān)的監(jiān)控一定要部署，逐漸完善。

以上是“MongoDB分片在部署與維護(hù)管理中常見的事項(xiàng)有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

新聞名稱：MongoDB分片在部署與維護(hù)管理中常見的事項(xiàng)有哪些
轉(zhuǎn)載源于：http://muchs.cn/article48/gedchp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、定制開發(fā)、動(dòng)態(tài)網(wǎng)站、軟件開發(fā)、網(wǎng)站改版、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)