大數(shù)據(jù)和HPC聯(lián)手的三個(gè)關(guān)鍵途徑

如今，大數(shù)據(jù)正變得越來(lái)越廉價(jià)，而不僅僅是廣泛分布商品硬件上廉價(jià)的存儲(chǔ)和計(jì)算。大數(shù)據(jù)分析可能很快成為高性能計(jì)算（HPC）新的“殺手級(jí)應(yīng)用”。

成都創(chuàng)新互聯(lián)公司是專(zhuān)業(yè)的宛城網(wǎng)站建設(shè)公司，宛城接單;提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專(zhuān)業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行宛城網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專(zhuān)業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專(zhuān)業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

此外，還有比大數(shù)據(jù)更多的大量的信息。它還涉及大量的分布式活動(dòng)，如復(fù)雜的查詢(xún)和計(jì)算。換句話(huà)說(shuō)，通過(guò)計(jì)算獲得的價(jià)值就像數(shù)據(jù)集本身的大小一樣“大”。事實(shí)上，高性能計(jì)算大數(shù)據(jù)已經(jīng)被分析公司IDC所創(chuàng)造，如“高性能數(shù)據(jù)分析。”

高性能計(jì)算（HPC）能很好地實(shí)現(xiàn)大數(shù)據(jù)典型的工作流程的所有三個(gè)階段，包括數(shù)據(jù)采集和過(guò)濾，分析，結(jié)果可視化。除了這三個(gè)階段，計(jì)算的速度和規(guī)模一樣重要。為了發(fā)掘大數(shù)據(jù)的全部潛力，我們要以“大計(jì)算”與HPC進(jìn)行匹配。

對(duì)于大數(shù)據(jù)和高性能計(jì)算的融合，以及企業(yè)如何充分利用這一現(xiàn)象來(lái)改善大型處理，以下有三個(gè)方法：

1.Hadoop聯(lián)手Infiniband

許多人認(rèn)為最常用的超級(jí)計(jì)算機(jī)互連技術(shù)InfiniBand，可以盡可能多滿(mǎn)足HPC作為裸機(jī)處理的基本要求。如果不能快速移動(dòng)節(jié)點(diǎn)之間的信息，就會(huì)限制了你可以實(shí)現(xiàn)的水平的可擴(kuò)展性。遠(yuǎn)程直接內(nèi)存訪(fǎng)問(wèn)（RDMA）的ApacheHadoop提供了一個(gè)極好的高速、低延遲互連的大數(shù)據(jù)平臺(tái)。甚至可以在云端利用RDMA在任何時(shí)候提供一個(gè)Hadoop集群。由于其優(yōu)越的帶寬和延遲的優(yōu)勢(shì)，56Gbps的InfinibandFDR可能比10Gbps以太網(wǎng)速度甚至快100倍以上，短期使用非常昂貴的定制總線(xiàn)，這是跨節(jié)點(diǎn)的計(jì)算分布數(shù)據(jù)和處理的最快方法。最后，用戶(hù)可以根據(jù)應(yīng)用的大小可以擴(kuò)展大數(shù)據(jù)平臺(tái)，而不必?fù)?dān)心幾乎一樣多的瓶頸。不僅會(huì)得到更快的結(jié)果，而其建立時(shí)間將遠(yuǎn)遠(yuǎn)小于所使用的商品網(wǎng)絡(luò)技術(shù)。

2.Hadoop聯(lián)手Accelerators

高性能計(jì)算（HPC）的另一個(gè)重要特點(diǎn)是采用了流行的協(xié)處理器和加速器，如被動(dòng)式散熱NVIDIATesla和開(kāi)普勒的GPU。正如這些技術(shù)大大有助于技術(shù)計(jì)算解決方案的發(fā)展，他們還可以幫助大數(shù)據(jù)和分析，就像他們已經(jīng)進(jìn)行測(cè)序和比對(duì)。

Hadoop利用GPU技術(shù)，如CUDA和OpenCL可以大促進(jìn)大數(shù)據(jù)性能的一個(gè)重要因素。所有其他的事情都是相同的，高性能的大數(shù)據(jù)平臺(tái)和技術(shù)，如Hadoop，Spark,MapReduce導(dǎo)致復(fù)雜的分析和更快的結(jié)果。事實(shí)上，對(duì)于人們正在收集的數(shù)據(jù)量的不斷增長(zhǎng)的唯一方法是提高計(jì)算速度。大數(shù)據(jù)利用協(xié)處理器和加速器是HPC在這個(gè)空間具有更大的影響力的重要途徑。

3．大數(shù)據(jù)和高性能計(jì)算在云計(jì)算的融合

大數(shù)據(jù)比任何其他應(yīng)用程序推動(dòng)公共云更快的增長(zhǎng)，HPC需求成為了一個(gè)新興的力量，并準(zhǔn)備好迎接這一挑戰(zhàn)。我們收集的數(shù)據(jù)越多，我們需要分析數(shù)據(jù)的計(jì)算能力就越大。簡(jiǎn)單地說(shuō)，大數(shù)據(jù)和云計(jì)算的增長(zhǎng)攜手并進(jìn)。只有這樣，才能提供足夠的規(guī)模，而跟上需求部署HPC類(lèi)資產(chǎn)，以提高處理性能和密度。

得益于大數(shù)據(jù)平臺(tái)的超級(jí)計(jì)算技術(shù)，如高速互連和協(xié)處理器的結(jié)合，組織可以利用和部署上的設(shè)計(jì)，使HPC服務(wù)成為了下一個(gè)主要需求分析的創(chuàng)新浪潮。采用分布式文件系統(tǒng)，如Hadoop，在相同的計(jì)算能力的情況下，可以加快測(cè)序和比對(duì)的過(guò)程，可以大大提高在今后的查詢(xún)和比較的效率，并且其成本更加低廉。傳統(tǒng)的HPC并行存儲(chǔ)，經(jīng)濟(jì)學(xué)將變得更具吸引力。最后，采用具有時(shí)間價(jià)值和彈性規(guī)模的公共云，企業(yè)現(xiàn)在可以專(zhuān)注于他們的工作，而不是過(guò)于關(guān)注IT平臺(tái)的性能。

由于大數(shù)據(jù)和高性能計(jì)算需求的銜接，企業(yè)將能夠充分利用公共云計(jì)算的規(guī)模和可用性。

標(biāo)題名稱(chēng)：大數(shù)據(jù)和HPC聯(lián)手的三個(gè)關(guān)鍵途徑
文章網(wǎng)址：http://www.muchs.cn/article36/sojcsg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、虛擬主機(jī)、微信小程序、App開(kāi)發(fā)、企業(yè)建站、軟件開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)