MongoDB性能測(cè)試與Python測(cè)試代碼

最近參與公司一個(gè)項(xiàng)目，計(jì)劃對(duì)在線平臺(tái)的大規(guī)模查詢做到快速響應(yīng)，預(yù)估數(shù)據(jù)總量大概在2-3億條，數(shù)據(jù)庫并發(fā)量大概每秒1500，一年后并發(fā)大概3000每秒，經(jīng)過在redis和MongoDB之間艱難的選擇之后，決定使用mongodb，主要看中其平行擴(kuò)展能力和GridFS上的Map/Reduce。預(yù)估項(xiàng)目完成上線后，高峰時(shí)段每秒并發(fā)查詢?cè)?500-3000之間。

其實(shí)我個(gè)人是比較喜歡Redis的，其并發(fā)查詢能力和超越memcached的速度都很令人心動(dòng)，不過其持久化和集群擴(kuò)展性不太適合業(yè)務(wù)需要，所以最后還是選擇了mongodb。

下面是對(duì)mongodb測(cè)試的代碼和結(jié)果。雖然公司用的一水的CentOS，但是由于我是FreeBSD的支持者，所以在FreeBSD和CentOS上都測(cè)試了一下結(jié)果。

寫庫程序是網(wǎng)上抄來的，查詢程序是自己寫的。

寫庫程序

#!/usr/bin/env python

from pymongo import Connection
import time,datetime

connection = Connection('127.0.0.1', 27017)
db = connection['hawaii']

#時(shí)間記錄器
def func_time(func):
        def _wrapper(*args,**kwargs):
                start = time.time()
                func(*args,**kwargs)
                print func.__name__,'run:',time.time()-start
        return _wrapper

@func_time
def insert(num):
        posts = db.userinfo
        for x in range(num):
                post = {"_id" : str(x),
                        "author": str(x)+"Mike",
                        "text": "My first blog post!",
                        "tags": ["mongodb", "python", "pymongo"],
                        "date": datetime.datetime.utcnow()}
                posts.insert(post)

if __name__ == "__main__":
#設(shè)定循環(huán)500萬次
           num = 5000000
           insert(num)

查詢程序

#!/usr/bin/env python

from pymongo import Connection
import time,datetime
import random

connection = Connection('127.0.0.1', 27017)
db = connection['hawaii']

def func_time(func):
                def _wrapper(*args,**kwargs):
                                start = time.time()
                                func(*args,**kwargs)
                                print func.__name__,'run:',time.time()-start
                return _wrapper

#@func_time
def randy():
                rand = random.randint(1,5000000)
                return rand

@func_time
def mread(num):
                find = db.userinfo
                for i in range(num):
                                rand = randy()
#隨機(jī)數(shù)查詢
                                find.find({"author": str(rand)+"Mike"})

if __name__ == "__main__":
#設(shè)定循環(huán)100萬次
                num = 1000000
                mread(num)

刪除程序

#!/usr/bin/env python

from pymongo import Connection
import time,datetime

connection = Connection('127.0.0.1', 27017)
db = connection['hawaii']

def func_time(func):
        def _wrapper(*args,**kwargs):
                start = time.time()
                func(*args,**kwargs)
                print func.__name__,'run:',time.time()-start
        return _wrapper

@func_time
def remove():
        posts = db.userinfo
        print 'count before remove:',posts.count();
        posts.remove({});
        print 'count after remove:',posts.count();

if __name__ == "__main__":
        remove()


結(jié)果集

插入500萬隨機(jī)數(shù)查詢100萬刪除500萬CPU占用
CentOS394s28s224s25-30%
FreeBSD431s18s278s20-22%


CentOS插入和刪除勝出；FreeBSD發(fā)揮了UFS2的優(yōu)勢(shì)，讀取勝出。
由于是作為查詢服務(wù)器使用，所以讀取速度快是個(gè)優(yōu)勢(shì)，不過我不是領(lǐng)導(dǎo)，我說了不算，最終還是得CentOS。

在測(cè)試中，一直使用mongostat監(jiān)控，從并發(fā)數(shù)量上，兩個(gè)系統(tǒng)差不多。還測(cè)試了插入并發(fā)查詢，不過結(jié)果差不多，大概并發(fā)的相加和都是15000-25000每秒。性能還是很不錯(cuò)的。

不過確實(shí)大數(shù)據(jù)量下插入性能下降比較嚴(yán)重，CentOS測(cè)試了5000萬數(shù)據(jù)插入，耗時(shí)接近2小時(shí)。大概是6300多秒。比起500萬數(shù)據(jù)插入速度，差不多慢了50%。不過查詢速度還算差不多。

測(cè)試結(jié)果供需要者做個(gè)參考。

不過，這個(gè)測(cè)試不是太公平。FreeBSD配置要差一點(diǎn)。

CentOS 16G內(nèi)存，Xeon5606 兩顆8核。Dell品牌機(jī)。

FreeBSD 8G內(nèi)存，Xeon5506 一顆4核。攢的沒牌子1U。

如果相同環(huán)境下，我覺得還是FreeBSD性能會(huì)比較好一點(diǎn)。

網(wǎng)站名稱：MongoDB性能測(cè)試與Python測(cè)試代碼
本文網(wǎng)址：http://muchs.cn/article0/jpdiio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、響應(yīng)式網(wǎng)站、企業(yè)建站、全網(wǎng)營銷推廣、網(wǎng)站策劃、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都做網(wǎng)站