nosqlsql結(jié)合,nosql數(shù)據(jù)庫(kù)與云計(jì)算緊密結(jié)合

什么是New SQL?分析NewSQL是如何融合NoSQL和RDBMS兩者的優(yōu)勢(shì)

NewSQL是對(duì)一類(lèi)現(xiàn)代關(guān)系型數(shù)據(jù)庫(kù)的統(tǒng)稱(chēng)，這類(lèi)數(shù)據(jù)庫(kù)對(duì)于一般的OLTP讀寫(xiě)請(qǐng)求提供可橫向擴(kuò)展的性能，同時(shí)支持事務(wù)的ACID保證。這些系統(tǒng)既擁有NoSQL數(shù)據(jù)庫(kù)的擴(kuò)展性，又保持傳統(tǒng)數(shù)據(jù)庫(kù)的事務(wù)特性。NewSQL重新將“應(yīng)用程序邏輯與數(shù)據(jù)操作邏輯應(yīng)該分離”的理念帶回到現(xiàn)代數(shù)據(jù)庫(kù)的世界，這也驗(yàn)證了歷史的發(fā)展總是呈現(xiàn)出螺旋上升的形式。

內(nèi)黃網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司,內(nèi)黃網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為內(nèi)黃近千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站制作要多少錢(qián)，請(qǐng)找那個(gè)售后服務(wù)好的內(nèi)黃做網(wǎng)站的公司定做！

在21世紀(jì)00年代中，出現(xiàn)了許多數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng) (如 Vertica，Greeplum 和AsterData)，這些以處理OLAP 請(qǐng)求為設(shè)計(jì)目標(biāo)的系統(tǒng)并不在本文定義的NewSQL范圍內(nèi)。OLAP 數(shù)據(jù)庫(kù)更關(guān)注針對(duì)海量數(shù)據(jù)的大型、復(fù)雜、只讀的查詢(xún)，查詢(xún)時(shí)間可能持續(xù)秒級(jí)、分鐘級(jí)甚至更長(zhǎng)。

NoSQL的擁躉普遍認(rèn)為阻礙傳統(tǒng)數(shù)據(jù)庫(kù)橫向擴(kuò)容、提高可用性的原因在于ACID保證和關(guān)系模型，因此NoSQL運(yùn)動(dòng)的核心就是放棄事務(wù)強(qiáng)一致性以及關(guān)系模型，擁抱最終一致性和其它數(shù)據(jù)模型?(如 key/value，graphs 和Documents)。

兩個(gè)最著名的NoSQL數(shù)據(jù)庫(kù)就是Google的BigTable和Amazon的Dynamo，由于二者都未開(kāi)源，其它組織就開(kāi)始推出類(lèi)似的開(kāi)源替代項(xiàng)目，包括Facebook的 Cassandra (基于BigTable和Dynamo)、PowerSet的 Hbase(基于BigTable)。有一些創(chuàng)業(yè)公司也加入到這場(chǎng)NoSQL運(yùn)動(dòng)中，它們不一定是受BigTable和Dynamo的啟發(fā)，但都響應(yīng)了NoSQL的哲學(xué)，其中最出名的就是MongoDB。

在21世紀(jì)00年代末，市面上已經(jīng)有許多供用戶(hù)選擇的分布式數(shù)據(jù)庫(kù)產(chǎn)品。使用NoSQL的優(yōu)勢(shì)在于應(yīng)用開(kāi)發(fā)者可以更關(guān)注應(yīng)用邏輯本身，而非數(shù)據(jù)庫(kù)的擴(kuò)展性問(wèn)題；但與此同時(shí)許多應(yīng)用，如金融系統(tǒng)、訂單處理系統(tǒng)，由于無(wú)法放棄事務(wù)的一致性要求被拒之門(mén)外。

一些組織，如Google，已經(jīng)發(fā)現(xiàn)他們的許多工程師將過(guò)多的精力放在處理數(shù)據(jù)一致性上，這既暴露了數(shù)據(jù)庫(kù)的抽象、又提高了代碼的復(fù)雜度，這時(shí)候要么選擇回到傳統(tǒng)DBMS時(shí)代，用更高的機(jī)器配置縱向擴(kuò)容，要么選擇回到中間件時(shí)代，開(kāi)發(fā)支持分布式事務(wù)的中間件。這兩種方案成本都很高，于是NewSQL運(yùn)動(dòng)開(kāi)始醞釀。

NewSQL數(shù)據(jù)庫(kù)設(shè)計(jì)針對(duì)的讀寫(xiě)事務(wù)有以下特點(diǎn)：

1、耗時(shí)短。

2、使用索引查詢(xún)，涉及少量數(shù)據(jù)。

3、重復(fù)度高，通常使用相同的查詢(xún)語(yǔ)句和不同的查詢(xún)參考。

也有一些學(xué)者認(rèn)為NewSQL系統(tǒng)是特指實(shí)現(xiàn)上使用Lock-free并發(fā)控制技術(shù)和share-nothing架構(gòu)的數(shù)據(jù)庫(kù)。所有我們認(rèn)為是NewSQL的數(shù)據(jù)庫(kù)系統(tǒng)確實(shí)都有這樣的特點(diǎn)。

如何實(shí)現(xiàn)NewSQL，NoSQL與OldSQL的混合部署

在大數(shù)據(jù)時(shí)代，“多種架構(gòu)支持多類(lèi)應(yīng)用”成為數(shù)據(jù)庫(kù)行業(yè)應(yīng)對(duì)大數(shù)據(jù)的基本思路，數(shù)據(jù)庫(kù)行業(yè)出現(xiàn)互為補(bǔ)充的三大陣營(yíng)，適用于事務(wù)處理應(yīng)用的OldSQL、適用于數(shù)據(jù)分析應(yīng)用的NewSQL和適用于互聯(lián)網(wǎng)應(yīng)用的NoSQL。但在一些復(fù)雜的應(yīng)用場(chǎng)景中，單一數(shù)據(jù)庫(kù)架構(gòu)都不能完全滿(mǎn)足應(yīng)用場(chǎng)景對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)管理、復(fù)雜分析、關(guān)聯(lián)查詢(xún)、實(shí)時(shí)性處理和控制建設(shè)成本等多方面的需要，因此不同架構(gòu)數(shù)據(jù)庫(kù)混合部署應(yīng)用成為滿(mǎn)足復(fù)雜應(yīng)用的必然選擇。不同架構(gòu)數(shù)據(jù)庫(kù)混合使用的模式可以概括為：OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過(guò)三個(gè)案例對(duì)不同架構(gòu)數(shù)據(jù)庫(kù)的混合應(yīng)用部署進(jìn)行介紹。

OldSQL+NewSQL 在數(shù)據(jù)中心類(lèi)應(yīng)用中混合部署

采用OldSQL+NewSQL模式構(gòu)建數(shù)據(jù)中心，在充分發(fā)揮OldSQL數(shù)據(jù)庫(kù)的事務(wù)處理能力的同時(shí)，借助NewSQL在實(shí)時(shí)性、復(fù)雜分析、即席查詢(xún)等方面的獨(dú)特優(yōu)勢(shì)，以及面對(duì)海量數(shù)據(jù)時(shí)較強(qiáng)的擴(kuò)展能力，滿(mǎn)足數(shù)據(jù)中心對(duì)當(dāng)前“熱”數(shù)據(jù)事務(wù)型處理和海量歷史“冷”數(shù)據(jù)分析兩方面的需求。OldSQL+NewSQL模式在數(shù)據(jù)中心類(lèi)應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NewSQL不適合事務(wù)處理的不足，NewSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)能力和處理性能方面的缺陷。

商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合部署方式搭建，OldSQL數(shù)據(jù)庫(kù)滿(mǎn)足各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的歸檔備份和事務(wù)型應(yīng)用，NewSQL MPP數(shù)據(jù)庫(kù)集群對(duì)即席查詢(xún)、多維分析等應(yīng)用提供高性能支持，并且通過(guò)MPP集群架構(gòu)實(shí)現(xiàn)應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)的擴(kuò)展能力。

商業(yè)銀行數(shù)據(jù)中心存儲(chǔ)架構(gòu)

與傳統(tǒng)的OldSQL模式相比，商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合搭建模式，數(shù)據(jù)加載性能提升3倍以上，即席查詢(xún)和統(tǒng)計(jì)分析性能提升6倍以上。NewSQL MPP的高可擴(kuò)展性能夠應(yīng)對(duì)新的業(yè)務(wù)需求，可隨著數(shù)據(jù)量的增長(zhǎng)采用集群方式構(gòu)建存儲(chǔ)容量更大的數(shù)據(jù)中心。

OldSQL+NoSQL 在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中混合部署

在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中采用OldSQL+NoSQL混合模式，能夠很好的解決互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)和快速處理的需求。在諸如大型電子商務(wù)平臺(tái)、大型SNS平臺(tái)等互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用場(chǎng)景中，OldSQL在應(yīng)用中負(fù)責(zé)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和事務(wù)型處理，NoSQL在應(yīng)用中負(fù)責(zé)存儲(chǔ)和處理海量非結(jié)構(gòu)化的數(shù)據(jù)和低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)。OldSQL+NoSQL模式在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NoSQL在ACID特性和復(fù)雜關(guān)聯(lián)運(yùn)算方面的不足，NoSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)處理方面的缺陷。

數(shù)據(jù)魔方是淘寶網(wǎng)的一款數(shù)據(jù)產(chǎn)品，主要提供行業(yè)數(shù)據(jù)分析、店鋪數(shù)據(jù)分析。淘寶數(shù)據(jù)產(chǎn)品在存儲(chǔ)層采用OldSQL+NoSQL混合模式，由基于MySQL的分布式關(guān)系型數(shù)據(jù)庫(kù)集群MyFOX和基于HBase的NoSQL存儲(chǔ)集群Prom組成。由于OldSQL強(qiáng)大的語(yǔ)義和關(guān)系表達(dá)能力，在應(yīng)用中仍然占據(jù)著重要地位，目前存儲(chǔ)在MyFOX中的統(tǒng)計(jì)結(jié)果數(shù)據(jù)已經(jīng)達(dá)到10TB，占據(jù)著數(shù)據(jù)魔方總數(shù)據(jù)量的95%以上。另一方面，NoSQL作為SQL的有益補(bǔ)充，解決了OldSQL數(shù)據(jù)庫(kù)無(wú)法解決的全屬性選擇器等問(wèn)題。

淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)

基于OldSQL+NoSQL混合架構(gòu)的特點(diǎn)，數(shù)據(jù)魔方目前已經(jīng)能夠提供壓縮前80TB的數(shù)據(jù)存儲(chǔ)空間，支持每天4000萬(wàn)的查詢(xún)請(qǐng)求，平均響應(yīng)時(shí)間在28毫秒，足以滿(mǎn)足未來(lái)一段時(shí)間內(nèi)的業(yè)務(wù)增長(zhǎng)需求。

NewSQL+NoSQL 在行業(yè)大數(shù)據(jù)應(yīng)用中混合部署

行業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)的區(qū)別在于行業(yè)大數(shù)據(jù)的價(jià)值密度更高，并且對(duì)結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢(xún)、數(shù)據(jù)強(qiáng)一致性等都比互聯(lián)網(wǎng)大數(shù)據(jù)有更高的要求。行業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景主要是分析類(lèi)應(yīng)用，如：電信、金融、政務(wù)、能源等行業(yè)的決策輔助、預(yù)測(cè)預(yù)警、統(tǒng)計(jì)分析、經(jīng)營(yíng)分析等。

在行業(yè)大數(shù)據(jù)應(yīng)用中采用NewSQL+NoSQL混合模式，充分利用NewSQL在結(jié)構(gòu)化數(shù)據(jù)分析處理方面的優(yōu)勢(shì)，以及NoSQL在非結(jié)構(gòu)數(shù)據(jù)處理方面的優(yōu)勢(shì)，實(shí)現(xiàn)NewSQL與NoSQL的功能互補(bǔ)，解決行業(yè)大數(shù)據(jù)應(yīng)用對(duì)高價(jià)值結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢(xún)、數(shù)據(jù)強(qiáng)一致性等要求，以及對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和精確查詢(xún)的要求。在應(yīng)用中，NewSQL承擔(dān)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析處理工作，NoSQL承擔(dān)存儲(chǔ)和處理海量非結(jié)構(gòu)化數(shù)據(jù)和不需要關(guān)聯(lián)分析、Ad-hoc查詢(xún)較少的低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的工作。

當(dāng)前電信運(yùn)營(yíng)商在集中化BI系統(tǒng)建設(shè)過(guò)程中面臨著數(shù)據(jù)規(guī)模大、數(shù)據(jù)處理類(lèi)型多等問(wèn)題，并且需要應(yīng)對(duì)大量的固定應(yīng)用，以及占統(tǒng)計(jì)總數(shù)80%以上的突發(fā)性臨時(shí)統(tǒng)計(jì)(ad-hoc)需求。在集中化BI系統(tǒng)的建設(shè)中采用NewSQL+NoSQL混搭的模式，充分利用NewSQL在復(fù)雜分析、即席查詢(xún)等方面處理性能的優(yōu)勢(shì)，及NoSQL在非結(jié)構(gòu)化數(shù)據(jù)處理和海量數(shù)據(jù)存儲(chǔ)方面的優(yōu)勢(shì)，實(shí)現(xiàn)高效低成本。

集中化BI系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)

集中化BI系統(tǒng)按照數(shù)據(jù)類(lèi)型和處理方式的不同，將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分別存儲(chǔ)在不同的系統(tǒng)中：非結(jié)構(gòu)化數(shù)據(jù)在Hadoop平臺(tái)上存儲(chǔ)與處理;結(jié)構(gòu)化、不需要關(guān)聯(lián)分析、Ad-hoc查詢(xún)較少的數(shù)據(jù)保存在NoSQL數(shù)據(jù)庫(kù)或Hadoop平臺(tái);結(jié)構(gòu)化、需要關(guān)聯(lián)分析或經(jīng)常ad-hoc查詢(xún)的數(shù)據(jù)，保存在NewSQL MPP數(shù)據(jù)庫(kù)中，短期高價(jià)值數(shù)據(jù)放在高性能平臺(tái)，中長(zhǎng)期放在低成本產(chǎn)品中。

結(jié)語(yǔ)

當(dāng)前信息化應(yīng)用的多樣性、復(fù)雜性，以及三種數(shù)據(jù)庫(kù)架構(gòu)各自所具有的優(yōu)勢(shì)和局限性，造成任何一種架構(gòu)的數(shù)據(jù)庫(kù)都不能完全滿(mǎn)足應(yīng)用需求，因此不同架構(gòu)數(shù)據(jù)庫(kù)混合使用，從而彌補(bǔ)其他架構(gòu)的不足成為必然選擇。根據(jù)應(yīng)用場(chǎng)景采用不同架構(gòu)數(shù)據(jù)庫(kù)進(jìn)行組合搭配，充分發(fā)揮每種架構(gòu)數(shù)據(jù)庫(kù)的特點(diǎn)和優(yōu)勢(shì)，并且與其他架構(gòu)數(shù)據(jù)庫(kù)形成互補(bǔ)，完全涵蓋應(yīng)用需求，保證數(shù)據(jù)資源的最優(yōu)化利用，將成為未來(lái)一段時(shí)期內(nèi)信息化應(yīng)用主要采用的解決方式。

目前在國(guó)內(nèi)市場(chǎng)上，OldSQL主要為Oracle、IBM等國(guó)外數(shù)據(jù)庫(kù)廠商所壟斷，達(dá)夢(mèng)、金倉(cāng)等國(guó)產(chǎn)廠商仍處于追趕狀態(tài);南大通用憑借國(guó)產(chǎn)新型數(shù)據(jù)庫(kù)GBase 8a異軍突起，與EMC的Greenplum和HP的Vertica躋身NewSQL市場(chǎng)三強(qiáng);NoSQL方面用戶(hù)則大多采用Hadoop開(kāi)源方案。

如何配合使用NoSQL和SQL，特別是原子性問(wèn)題存在的時(shí)候

而傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類(lèi)型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問(wèn)題，例如：

1、High performance - 對(duì)數(shù)據(jù)庫(kù)高并發(fā)讀寫(xiě)的需求

web2.0網(wǎng)站要根據(jù)用戶(hù)個(gè)性化信息來(lái)實(shí)時(shí)生成動(dòng)態(tài)頁(yè)面和提供動(dòng)態(tài)信息，所以基本上無(wú)法使用動(dòng)態(tài)頁(yè)面靜態(tài)化技術(shù)，因此數(shù)據(jù)庫(kù)并發(fā)負(fù)載非常高，往往要達(dá)到每秒上萬(wàn)次讀寫(xiě)請(qǐng)求。關(guān)系數(shù)據(jù)庫(kù)應(yīng)付上萬(wàn)次SQL查詢(xún)還勉強(qiáng)頂?shù)米?，但是?yīng)付上萬(wàn)次SQL寫(xiě)數(shù)據(jù)請(qǐng)求，硬盤(pán)IO就已經(jīng)無(wú)法承受了。其實(shí)對(duì)于普通的BBS網(wǎng)站，往往也存在對(duì)高并發(fā)寫(xiě)請(qǐng)求的需求。

2、Huge Storage - 對(duì)海量數(shù)據(jù)的高效率存儲(chǔ)和訪(fǎng)問(wèn)的需求

對(duì)于大型的SNS網(wǎng)站，每天用戶(hù)產(chǎn)生海量的用戶(hù)動(dòng)態(tài)，以國(guó)外的Friendfeed為例，一個(gè)月就達(dá)到了2.5億條用戶(hù)動(dòng)態(tài)，對(duì)于關(guān)系數(shù)據(jù)庫(kù)來(lái)說(shuō)，在一張2.5億條記錄的表里面進(jìn)行SQL查詢(xún)，效率是極其低下乃至不可忍受的。再例如大型web網(wǎng)站的用戶(hù)登錄系統(tǒng)，例如騰訊，盛大，動(dòng)輒數(shù)以?xún)|計(jì)的帳號(hào)，關(guān)系數(shù)據(jù)庫(kù)也很難應(yīng)付。

新聞標(biāo)題：nosqlsql結(jié)合,nosql數(shù)據(jù)庫(kù)與云計(jì)算緊密結(jié)合
本文URL：http://muchs.cn/article0/pheioo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、企業(yè)建站、域名注冊(cè)、商城網(wǎng)站、Google、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)