mongodb分片不均衡的原因

小編給大家分享一下MongoDB分片不均衡的原因，相信大部分人都還不怎么了解，因此分享這邊文章給大家學(xué)習(xí)，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去學(xué)習(xí)方法吧！

察哈爾右翼前網(wǎng)站制作公司哪家好，找成都創(chuàng)新互聯(lián)公司！從網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營維護(hù)。成都創(chuàng)新互聯(lián)公司于2013年開始到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選成都創(chuàng)新互聯(lián)公司。

今天接到一個(gè)用戶反饋的問題，sharding集群，使用wiredtiger引擎，某個(gè)DB下集合全部用的hash分片，show dbs 發(fā)現(xiàn)其中一個(gè)shard里該DB的大小，跟其他的集合差別很大，其他基本在60G左右，而這個(gè)shard在200G左右？

由于這個(gè)DB下有大量的集合及索引，一眼也看不出問題，寫了個(gè)腳本分析了一下，得到如下結(jié)論：

（1）somedb下所有集合都是hash分片，并且chunk的分布是比較均勻的。

（2）show dbs反應(yīng)的是集合及索引對(duì)應(yīng)的物理文件大小。

（3）集合的數(shù)據(jù)在各個(gè)shard上邏輯總大小是接近的，只有shard0占用的物理空間比其他大很多。

從shard0上能找到大量moveChunk 的記錄，猜測(cè)應(yīng)該是集合的數(shù)據(jù)在沒有開啟分片的情況下寫到shard0了，然后開啟分片后，從shard0遷移到其他shard了，跟用戶確認(rèn)的確有一批集合是最開始沒有分片。

所以這個(gè)問題就轉(zhuǎn)換成了，為什么復(fù)制集里集合的邏輯空間與物理空間不一致？即collection stat 里 size 與 storageSize 的區(qū)別。

mymongo:PRIMARY> db.coll.stats()
{
    "ns" : "test.coll",
    "size" : 30526664,
    "count" : 500808,
    "avgObjSize" : 33,
    "storageSize" : 19521536,
    "capped" : false,
    ....
}

邏輯存儲(chǔ)空間與物理存儲(chǔ)空間有差距的主要原因：

（1）存儲(chǔ)引擎存儲(chǔ)時(shí)，需要記錄一些額外的元數(shù)據(jù)信息，這會(huì)導(dǎo)致物理空間總和比邏輯空間略大。

（2）存儲(chǔ)引擎可能支持?jǐn)?shù)據(jù)壓縮，邏輯的數(shù)據(jù)塊存儲(chǔ)到磁盤時(shí)，經(jīng)過壓縮可能比邏輯數(shù)據(jù)小很多了（具體要看數(shù)據(jù)的特性，極端情況下壓縮后數(shù)據(jù)變大也是有可能的）。

（3）引擎對(duì)刪除空間的處理，很多存儲(chǔ)引擎在刪除數(shù)據(jù)時(shí)，考慮到效率，都不會(huì)立即去挪動(dòng)數(shù)據(jù)回收刪除的存儲(chǔ)空間，這樣可能導(dǎo)致刪除很多文檔后，邏輯空間變小，但物理空間并沒有變小。如下圖所示，灰色的文檔刪除表示被刪除。刪除的空間產(chǎn)生很多存儲(chǔ)碎片，這些碎片空間不會(huì)立即被回收，但有新文檔寫入時(shí)，可以立即被復(fù)用。

而上述case里，集合數(shù)據(jù)先分到一個(gè)shard，然后啟用分片后，遷移一部分到其他shard，就是一個(gè)典型的產(chǎn)生大量存儲(chǔ)碎片的例子。存儲(chǔ)碎片對(duì)服務(wù)通常影響不大，但如果因?yàn)榭臻g不夠用了需要回收，如何去強(qiáng)制的回收這些碎片空間？

    ·數(shù)據(jù)清理掉重新加入復(fù)制集同步數(shù)據(jù)，或者直接執(zhí)行resync命令 （確保有還有其他的數(shù)據(jù)備份）

    ·對(duì)集合調(diào)用 compact 命令

以上是mongodb分片不均衡的原因的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

網(wǎng)頁題目：mongodb分片不均衡的原因
轉(zhuǎn)載源于：http://muchs.cn/article38/pihdpp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、網(wǎng)站營銷、微信公眾號(hào)、外貿(mào)建站、、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)