虛擬化和云計(jì)算：大數(shù)據(jù)價(jià)值的左膀右臂

“滴答”一秒鐘過去了，在互聯(lián)網(wǎng)上，人們發(fā)送了290封電子郵件;亞馬遜處理72.9筆訂單;人們?cè)赮outube上傳時(shí)長達(dá)20分鐘視頻……這些，其實(shí)就是見證一種趨勢(shì)：大數(shù)據(jù)。

大數(shù)據(jù)是一種大規(guī)模數(shù)據(jù)的管理和利用的商業(yè)模式和技術(shù)平臺(tái)的泛指，它與傳統(tǒng)的海量數(shù)據(jù)不同的是，它除了數(shù)據(jù)規(guī)模呈現(xiàn)幾何級(jí)數(shù)增長的特征之外，還包括所有數(shù)據(jù)類型的采集、分類、處理、分析和展現(xiàn)等多個(gè)方面，從而最終實(shí)現(xiàn)從大數(shù)據(jù)挖掘潛在巨大價(jià)值的目的。

根據(jù)IDC的統(tǒng)計(jì)報(bào)告指出，這種大數(shù)據(jù)未來發(fā)展將會(huì)給數(shù)據(jù)存儲(chǔ)和相關(guān)的應(yīng)用服務(wù)帶來顯著增長。比如在存儲(chǔ)領(lǐng)域，從2010年至2015年間，復(fù)合年度增長將達(dá)到61.4%。在中國方面，根據(jù)IDC《中國大數(shù)據(jù)技術(shù)與服務(wù)市場(chǎng)2012-2016年預(yù)測(cè)與分析》顯示，該市場(chǎng)規(guī)模將會(huì)從2011年的7760萬美元增長到2016年的6.17億美元，未來5年的復(fù)合增長率達(dá)51.4%，市場(chǎng)規(guī)模增長近7倍。

值得注意的是，現(xiàn)有的技術(shù)架構(gòu)并不能很好地切割、分享這么一塊大蛋糕。在眾多大數(shù)據(jù)解決方案中，Hadoop成為了人們實(shí)現(xiàn)大數(shù)據(jù)分析的選，然而，它仍然離不開虛擬化和云計(jì)算技術(shù)和平臺(tái)的支撐。發(fā)展成熟的虛擬化和有著廣闊前景的云計(jì)算，將成為大數(shù)據(jù)價(jià)值實(shí)現(xiàn)的左膀右臂。

面對(duì)海量數(shù)據(jù)的增長，傳統(tǒng)架構(gòu)雖然能夠進(jìn)行擴(kuò)充，但它卻面臨著不能實(shí)現(xiàn)水平橫向擴(kuò)展的局限性，傳統(tǒng)的IT架構(gòu)和數(shù)據(jù)處理方式無法有效地應(yīng)對(duì)大數(shù)據(jù)環(huán)境。數(shù)據(jù)的存儲(chǔ)、計(jì)算、管理、分析等節(jié)點(diǎn)都需要適應(yīng)大數(shù)據(jù)需求的方案，同時(shí)也要滿足性能上的擴(kuò)展。因此，基于數(shù)據(jù)中心的IT基礎(chǔ)設(shè)施，也必將從傳統(tǒng)的數(shù)據(jù)中心邁向云數(shù)據(jù)中心轉(zhuǎn)型。

云數(shù)據(jù)中心是云計(jì)算背景下新的業(yè)務(wù)需求和資源利用模式與數(shù)據(jù)中心的好結(jié)合。云模式已成為企業(yè)利用數(shù)據(jù)中心平臺(tái)應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)的重要方式。根據(jù)IBM的數(shù)據(jù)報(bào)告，當(dāng)前數(shù)據(jù)中心有85%的運(yùn)算能力存在閑置，50%至60%的數(shù)據(jù)中心IT負(fù)載可以采用云計(jì)算技術(shù)。這些，其實(shí)挖掘大數(shù)據(jù)價(jià)值的解決方案對(duì)它們有著同樣的訴求。

云計(jì)算為何會(huì)助力大數(shù)據(jù)挖掘價(jià)值呢?我們可以從以下三個(gè)方面來探討：

一、云計(jì)算幫助大數(shù)據(jù)平臺(tái)降低復(fù)雜性，簡化運(yùn)維，提升資源活性和利用效率

云計(jì)算通過基于網(wǎng)絡(luò)的服務(wù)交付，將硬件等基礎(chǔ)架構(gòu)融合為無形的IT資源，并借助負(fù)載均衡、分布式計(jì)算、并行計(jì)算、虛擬化、網(wǎng)絡(luò)存儲(chǔ)和統(tǒng)一管理等技術(shù)手段，實(shí)現(xiàn)IT服務(wù)的無縫化、定制化和伸縮性交付。

二、云計(jì)算幫助云數(shù)據(jù)中心降低成本，有利于將更多資金投入到增值業(yè)務(wù)中

由于采用了大量的虛擬化技術(shù)和統(tǒng)一的跨平臺(tái)管理，可以幫助運(yùn)營商/企業(yè)用戶節(jié)省大量的設(shè)施成本和軟件許可費(fèi)用。此外，云數(shù)據(jù)中心的資源利用率能夠得到進(jìn)一步提升，并且在負(fù)載均衡方面也有更出色的表現(xiàn)，從而大化保護(hù)用戶投資，實(shí)現(xiàn)產(chǎn)品服務(wù)生命周期內(nèi)價(jià)值大化。節(jié)約下來的資本則可以投放在大數(shù)據(jù)的前期采集(增加數(shù)據(jù)源和數(shù)據(jù)類型)、存儲(chǔ)、處理、分析并最終實(shí)現(xiàn)決策參考等各個(gè)業(yè)務(wù)環(huán)節(jié)。

三、云計(jì)算可支撐基于大數(shù)據(jù)的靈活高效IT服務(wù)，滿足多種個(gè)性化需求

云計(jì)算和大數(shù)據(jù)一樣，都有基于分布式計(jì)算的應(yīng)用。不過，大數(shù)據(jù)更多的是需要有集群帶來的高性能計(jì)算和存儲(chǔ)擴(kuò)展(橫向和縱向)。借助云計(jì)算的分布式系統(tǒng)和虛擬化靈活調(diào)配資源，可以幫助大數(shù)據(jù)的各項(xiàng)分析、處理、挖掘提供高效靈活的IT服務(wù)支撐，滿足用戶個(gè)性化/定制化大數(shù)據(jù)挖掘、分析需求。

很多企業(yè)IT應(yīng)用虛擬化程度僅有20%-30%。但隨著云計(jì)算的逐步成熟與落地，云數(shù)據(jù)中心也越來越被企業(yè)接受。當(dāng)然，這種虛擬化在云數(shù)據(jù)中心中的應(yīng)用也就更加廣泛了。

了解大數(shù)據(jù)的讀者都知道，Hadoop是所有大數(shù)據(jù)解決方案中最具成長性的平臺(tái)，它通過集群搭建起的高性能計(jì)算和存儲(chǔ)平臺(tái)，利用分布式架構(gòu)對(duì)海量數(shù)據(jù)(包括結(jié)構(gòu)和非結(jié)構(gòu)數(shù)據(jù))進(jìn)行分析和處理。在這種情況下，也許很多人會(huì)誤以為虛擬化運(yùn)行在SAN上，而Hadoop卻在本地硬盤上運(yùn)行，從而主觀認(rèn)為虛擬化不適合大數(shù)據(jù)平臺(tái)。甚至有人會(huì)認(rèn)為，虛擬化會(huì)給IT系統(tǒng)帶來更多資源開銷，降低Hadoop性能。

其實(shí)，大數(shù)據(jù)平臺(tái)下的Hadoop，更多的是基于集群版(包括開源和英特爾發(fā)行版)，而不是單機(jī)版。通過虛擬存儲(chǔ)架構(gòu)下的共享存儲(chǔ)(SAN或者NAS)，可實(shí)現(xiàn)更簡便高效的部署，并且實(shí)現(xiàn)集群的自動(dòng)負(fù)載均衡。

另一方面，并不是所有的企業(yè)都有足夠的精力和能力去應(yīng)對(duì)部署Hadoop帶來的挑戰(zhàn)(部署門檻和系統(tǒng)調(diào)優(yōu)門檻)，而且Name Node和Job tracker存在單點(diǎn)失效問題，Hive、HCatalog等非Hadoop核心模塊也沒有雙機(jī)集群高可用性的保障，專有的Hadoop集群CPU利用率低，Hadoop和非Hadoop負(fù)載不能直接共享資源，等等。這一系列的問題，都給Hadoop的使用帶來了諸多不便。

在這種情況下，引入虛擬化解決方案就成為了破解這些難題的“救命稻草”了。服務(wù)器虛擬化、甚至基于計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)各個(gè)模塊的全面虛擬化，有助于降低成本和提升集群系統(tǒng)的可用性和可靠性，避免Hadoop集群帶來的昂貴成本負(fù)擔(dān)，使得廣大中型企業(yè)也可以實(shí)現(xiàn)大數(shù)據(jù)的分析和應(yīng)用，而且也可以幫助提升大數(shù)據(jù)的服務(wù)價(jià)值。

另外一種情況是，基礎(chǔ)設(shè)施的全面虛擬化，還可以順應(yīng)大數(shù)據(jù)幾何級(jí)數(shù)增長的發(fā)展態(tài)勢(shì)，從而從一開始就緊隨業(yè)務(wù)/大數(shù)據(jù)價(jià)值挖掘的需求不斷推進(jìn)，提升大數(shù)據(jù)價(jià)值內(nèi)涵。

編后語：

虛擬化和云計(jì)算，將為大數(shù)據(jù)價(jià)值的挖掘提供更富有靈活擴(kuò)展、高效利用的技術(shù)支持。雖然大數(shù)據(jù)需要有更多的新技術(shù)來幫助實(shí)現(xiàn)，但早已發(fā)展成熟的虛擬化以及當(dāng)下流行應(yīng)用的云計(jì)算，將有助于簡化大數(shù)據(jù)價(jià)值的挖掘和服務(wù)的提供，從而實(shí)現(xiàn)大數(shù)據(jù)的更快部署實(shí)施和惠及更多地區(qū)、行業(yè)用戶的應(yīng)用服務(wù)。

本文題目：虛擬化和云計(jì)算：大數(shù)據(jù)價(jià)值的左膀右臂
文章轉(zhuǎn)載：http://www.muchs.cn/news/102679.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、網(wǎng)站制作、商城網(wǎng)站、定制網(wǎng)站、App設(shè)計(jì)、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)