深入MongoDB內(nèi)存溢出調(diào)優(yōu)-創(chuàng)新互聯(lián)

MongoDB內(nèi)存溢出錯(cuò)誤描述

為芙蓉等地區(qū)用戶提供了全套網(wǎng)頁(yè)設(shè)計(jì)制作服務(wù)，及芙蓉網(wǎng)站建設(shè)行業(yè)解決方案。主營(yíng)業(yè)務(wù)為成都做網(wǎng)站、成都網(wǎng)站建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、芙蓉網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠(chéng)的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！exception: getMore runner error: Overflow sort stage buffered data  usage of 33638076 bytes exceeds internal limit of 33554432 bytes

MongoDB內(nèi)存中排序的限制和解決方案

下文引用自：https://docs.mongodb.com/manual/reference/method/cursor.sort/#cursor.sort

When unable to obtain the sort order from an index, MongoDB will sort the results in memory, which requires that the result set being sorted is less than 32 megabytes.

When the sort operation consumes more than 32 megabytes, MongoDB returns an error. To avoid this error, either create an index supporting the sort operation (see Sort and Index Use) or use sort() in conjunction with limit() (see Limit Results).

MongoDB查詢方法的描述和執(zhí)行順序

下文引用自：https://docs.mongodb.com/manual/tutorial/query-documents/#query-method

Query Method

MongoDB provides the db.collection.find() method to read documents from a collection. The db.collection.find() method returns a cursor to the matching documents.

db.collection.find( <query filter>, <projection> )

For the db.collection.find() method, you can specify the following optional fields:

  • a query filter to specify which documents to return.

  • a query projection to specifies which fields from the matching documents to return. The projection limits the amount of data that MongoDB returns to the client over the network.

You can optionally add a cursor modifier to impose limits, skips, and sort orders. The order of documents returned by a query is not defined unless you specify a sort().

下文引用自：https://docs.mongodb.com/manual/reference/method/db.collection.find/#combine-cursor-methods

Combine Cursor Methods

The following statements chain cursor methods limit() and sort():

db.bios.find().sort( { name: 1 } ).limit( 5 ) db.bios.find().limit( 5 ).sort( { name: 1 } )

The two statements are equivalent; i.e. the order in which you chain the limit() and the sort() methods is not significant. Both statements return the first five documents, as determined by the ascending sort order on ‘name’.

順便來(lái)看看SQL Server語(yǔ)句執(zhí)行順序

《SQL Server 2005技術(shù)內(nèi)幕--查詢》這本書的開篇第一章第一節(jié)。書的作者也要讓讀者首先了解語(yǔ)句是怎么樣的一個(gè)執(zhí)行順序。

查詢的邏輯執(zhí)行順序：

 (1) FROM < left_table>

 (3) < join_type> JOIN < right_table>  (2) ON < join_condition>

 (4) WHERE < where_condition>

 (5) GROUP BY < group_by_list>

 (6) WITH {cube | rollup}

 (7) HAVING < having_condition>

 (8) SELECT (9) DISTINCT (11) < top_specification> < select_list>

 (10) ORDER BY < order_by_list>

 標(biāo)準(zhǔn)的SQL 的解析順序?yàn)?

 (1).FROM 子句 組裝來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)

 (2).WHERE 子句 基于指定的條件對(duì)記錄進(jìn)行篩選

 (3).GROUP BY 子句 將數(shù)據(jù)劃分為多個(gè)分組

 (4).使用聚合函數(shù)進(jìn)行計(jì)算

 (5).使用HAVING子句篩選分組

 (6).計(jì)算所有的表達(dá)式

 (7).使用ORDER BY對(duì)結(jié)果集進(jìn)行排序

執(zhí)行順序：

 1.FROM：對(duì)FROM子句中前兩個(gè)表執(zhí)行笛卡爾積生成虛擬表vt1

 2.ON:對(duì)vt1表應(yīng)用ON篩選器只有滿足< join_condition> 為真的行才被插入vt2

 3.OUTER(join)：如果指定了 OUTER JOIN保留表(preserved table)中未找到的行將行作為外部行添加到vt2 生成t3如果from包含兩個(gè)以上表則對(duì)上一個(gè)聯(lián)結(jié)生成的結(jié)果表和下一個(gè)表重復(fù)執(zhí)行步驟和步驟直接結(jié)束

 4.WHERE：對(duì)vt3應(yīng)用 WHERE 篩選器只有使< where_condition> 為true的行才被插入vt4

 5.GROUP BY：按GROUP BY子句中的列列表對(duì)vt4中的行分組生成vt5

 6.CUBE|ROLLUP：把超組(supergroups)插入vt6 生成vt6

 7.HAVING：對(duì)vt6應(yīng)用HAVING篩選器只有使< having_condition> 為true的組才插入vt7

 8.SELECT：處理select列表產(chǎn)生vt8

 9.DISTINCT：將重復(fù)的行從vt8中去除產(chǎn)生vt9

 10.ORDER BY：將vt9的行按order by子句中的列列表排序生成一個(gè)游標(biāo)vc10

 11.TOP：從vc10的開始處選擇指定數(shù)量或比例的行生成vt11 并返回調(diào)用者

對(duì)比總結(jié)

MongoDB和SQL Server都是先SELECT列表后，再到內(nèi)存中排序，最后取前幾行。

對(duì)于內(nèi)存溢出的優(yōu)化

MongoDB查詢優(yōu)化的原則可參考：

Optimize Query Performance
https://docs.mongodb.com/manual/tutorial/optimize-query-performance-with-indexes-and-projections/

有的開發(fā)會(huì)干脆將數(shù)據(jù)取出來(lái)后在程序里排序，這個(gè)不推薦，因?yàn)檫@樣同樣占用過多內(nèi)存，沒有從根本上解決這個(gè)問題。

比較推薦的方案有三個(gè)：
1.優(yōu)化查詢和索引。
2.減少輸出列（限制輸出列個(gè)數(shù)）或行（如limit函數(shù)，或限制輸入查詢_id數(shù)量）。
3.將查詢分2步，第1步只輸出_id，第2步再通過_id查明細(xì)。
都可以解決內(nèi)存中排序溢出問題。

從3.0版本開始的系統(tǒng)參數(shù)調(diào)優(yōu)

從3.0版本開始可以通過修改參數(shù)值internalQueryExecMaxBlockingSortBytes來(lái)增加內(nèi)存排序大小限制。

先來(lái)看看所有支持的參數(shù)：

use admin db.runCommand( { getParameter : 1, "internalQueryExecMaxBlockingSortBytes" : 1 } )

再來(lái)看看如何設(shè)置：

db.adminCommand({setParameter: 1, internalQueryExecMaxBlockingSortBytes: <limit in bytes>})

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享文章：深入MongoDB內(nèi)存溢出調(diào)優(yōu)-創(chuàng)新互聯(lián)
標(biāo)題URL：http://muchs.cn/article48/pgiep.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、靜態(tài)網(wǎng)站、電子商務(wù)、企業(yè)建站、網(wǎng)站改版、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

手機(jī)網(wǎng)站建設(shè)