由正則表示式匹配($regex)引起的一次mongo數(shù)據(jù)庫(kù)c

某一天，監(jiān)控到mongo數(shù)據(jù)庫(kù)cpu使用率高了很多，查了一下，發(fā)現(xiàn)是下面這種語(yǔ)句引起的：

成都創(chuàng)新互聯(lián)主要從事做網(wǎng)站、成都網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)溧水,10多年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專(zhuān)業(yè),歡迎來(lái)電咨詢(xún)建站服務(wù):18982081108

db.example_collection.find({ "idField" : { "$regex" : "123456789012345678"} , "dateField" : { "$regex" : "2019/10/10"}})

通常，遇到這種情況，我第一反應(yīng)是缺少相關(guān)字段的索引，導(dǎo)致每執(zhí)行一次這種語(yǔ)句都會(huì)全表掃描一次。

但是我用explain( )語(yǔ)句分析了下，發(fā)現(xiàn)上面所涉及的兩個(gè)字段idField、dateField是有索引的，并且該語(yǔ)句也是有使用到索引的。如下為explain( )的結(jié)果：

mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : { "$regex" : "123456789012345678"} , "dateField" : { "$regex" : "2019/10/10"}}).explain("queryPlanner") { ??????? "queryPlanner" : { ??????????????? "plannerVersion" : 1, ??????????????? "namespace" : "example_db.example_collection", ??????????????? "indexFilterSet" : false, ??????????????? "parsedQuery" : { ??????????????????????? "$and" : [ ??????????????????????????????? { ??????????????????????????????????????? "idField" : { ??????????????????????????????????????????????? "$regex" : "123456789012345678" ??????????????????????????????????????? } ??????????????????????????????? }, ??????????????????????????????? { ??????????????????????????????????????? "dateField" : { ??????????????????????????????????????????????? "$regex" : "2019/10/10" ??????????????????????????????????????? } ??????????????????????????????? } ??????????????????????? ] ??????????????? }, ??????????????? "winningPlan" : { ??????????????????????? "stage" : "FETCH", ??????????????????????? "inputStage" : { ??????????????????????????????? "stage" : "IXSCAN", ??????????????????????????????? "filter" : { ??????????????????????????????????????? "$and" : [ ??????????????????????????????????????????????? { ??????????????????????????????????????????????????????? "idField" : { ??????????????????????????????????????????????????????????????? "$regex" : "123456789012345678" ??????????????????????????????????????????????????????? } ??????????????????????????????????????????????? }, ??????????????????????????????????????????????? { ??????????????????????????????????????????????????????? "dateField" : { ??????????????????????????????????????????????????????????????? "$regex" : "2019/10/10" ??????????????????????????????????????????????????????? } ??????????????????????????????????????????????? } ??????????????????????????????????????? ] ??????????????????????????????? }, ??????????????????????????????? "keyPattern" : { ??????????????????????????????????????? "idField" : 1, ??????????????????????????????????????? "dateField" : 1 ??????????????????????????????? }, ??????????????????????????????? "indexName" : "idField_1_dateField_1", ??????????????????????????????? "isMultiKey" : false, ??????????????????????????????? "multiKeyPaths" : { ??????????????????????????????????????? "idField" : [ ], ??????????????????????????????????????? "dateField" : [ ] ??????????????????????????????? }, ??????????????????????????????? "isUnique" : false, ??????????????????????????????? "isSparse" : false, ??????????????????????????????? "isPartial" : false, ??????????????????????????????? "indexVersion" : 2, ??????????????????????????????? "direction" : "forward", ??????????????????????????????? "indexBounds" : { ??????????????????????????????????????? "idField" : [ ??????????????????????????????????????????????? "[\"\", {})", ??????????????????????????????????????????????? "[/123456789012345678/, /123456789012345678/]" ??????????????????????????????????????? ], ??????????????????????????????????????? "dateField" : [ ??????????????????????????????????????????????? "[\"\", {})", ??????????????????????????????????????????????? "[/2019/10/10/, /2019/10/10/]" ??????????????????????????????????????? ] ??????????????????????????????? } ??????????????????????? } ??????????????? }, ??????????????? "rejectedPlans" : [ ] ??????? }, ??????? "ok" : 1 }

查看mongo的日志發(fā)現(xiàn)，這種語(yǔ)句執(zhí)行一次就要800~900ms，的確是比較慢。除非數(shù)據(jù)庫(kù)cpu核數(shù)很多，要不然只要這種語(yǔ)句每秒并發(fā)稍微高一點(diǎn)，cpu很快就被占滿(mǎn)了。

之后搜索了下，發(fā)現(xiàn)有可能是正則表達(dá)式的問(wèn)題。原來(lái)，雖然該語(yǔ)句的確是使用了索引，但是explain( )語(yǔ)句的輸出中還有一個(gè)字段"indexBounds"，表示執(zhí)行該語(yǔ)句時(shí)所需掃描的索引范圍。說(shuō)實(shí)話，上面那個(gè)輸出中，我始終沒(méi)看明白它那個(gè)索引范圍。上面的語(yǔ)句對(duì)idField、dateField這兩個(gè)字段都進(jìn)行了普通的正則表達(dá)式匹配，我猜測(cè)它應(yīng)該是掃描了整個(gè)索引樹(shù)，所以導(dǎo)致索引并未實(shí)際提升該語(yǔ)句的查詢(xún)效率。

我看了下數(shù)據(jù)庫(kù)里面的數(shù)據(jù)，發(fā)現(xiàn)idField、dateField這兩個(gè)字段完全沒(méi)有必要進(jìn)行正則匹配，進(jìn)行普通的文本匹配就行。將正則匹配操作$regex去掉之后，再分析一下，結(jié)果是這樣的：

mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : "123456789012345678", "dateField" : "2019/10/10"}).explain("queryPlanner") { ??????? "queryPlanner" : { ??????????????? "plannerVersion" : 1, ??????????????? "namespace" : "example_db.example_collection", ??????????????? "indexFilterSet" : false, ??????????????? "parsedQuery" : { ??????????????????????? "$and" : [ ??????????????????????????????? { ??????????????????????????????????????? "idField" : { ??????????????????????????????????????????????? "$eq" : "123456789012345678" ??????????????????????????????????????? } ??????????????????????????????? }, ??????????????????????????????? { ??????????????????????????????????????? "dateField" : { ??????????????????????????????????????????????? "$eq" : "2019/10/10" ??????????????????????????????????????? } ??????????????????????????????? } ??????????????????????? ] ??????????????? }, ??????????????? "winningPlan" : { ??????????????????????? "stage" : "FETCH", ??????????????????????? "inputStage" : { ??????????????????????????????? "stage" : "IXSCAN", ??????????????????????????????? "keyPattern" : { ??????????????????????????????????????? "idField" : 1, ??????????????????????????????????????? "dateField" : 1 ??????????????????????????????? }, ??????????????????????????????? "indexName" : "idField_1_dateField_1", ??????????????????????????????? "isMultiKey" : false, ??????????????????????????????? "multiKeyPaths" : { ??????????????????????????????????????? "idField" : [ ], ??????????????????????????????????????? "dateField" : [ ] ??????????????????????????????? }, ??????????????????????????????? "isUnique" : false, ??????????????????????????????? "isSparse" : false, ??????????????????????????????? "isPartial" : false, ??????????????????????????????? "indexVersion" : 2, ??????????????????????????????? "direction" : "forward", ??????????????????????????????? "indexBounds" : { ??????????????????????????????????????? "idField" : [ ??????????????????????????????????????????????? "[\"123456789012345678\", \"123456789012345678\"]" ??????????????????????????????????????? ], ??????????????????????????????????????? "dateField" : [ ??????????????????????????????????????????????? "[\"2019/10/10\", \"2019/10/10\"]" ??????????????????????????????????????? ] ??????????????????????????????? } ??????????????????????? } ??????????????? }, ??????????????? "rejectedPlans" : [ ] ??????? }, ??????? "ok" : 1 }

可以看到，仍然使用到了索引，并且索引掃描范圍是僅限于一個(gè)值的。

后來(lái)跟開(kāi)發(fā)人員確認(rèn)了下，該語(yǔ)句確實(shí)沒(méi)必要使用正則匹配，就讓他把正則匹配去掉了。之后就沒(méi)有再出現(xiàn)問(wèn)題了，mongo慢日志中也未再出現(xiàn)該語(yǔ)句。

文章題目：由正則表示式匹配($regex)引起的一次mongo數(shù)據(jù)庫(kù)c
新聞來(lái)源：http://muchs.cn/article40/gddgeo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、App設(shè)計(jì)、云服務(wù)器、虛擬主機(jī)、企業(yè)網(wǎng)站制作、

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)