以云計(jì)算的方式提供超算,青云QingCloudEHPC做到了!

2022-10-05    分類: 網(wǎng)站建設(shè)

單從高性能計(jì)算(HPC)市場(chǎng)來看,可謂是“高手如林”,致力于企業(yè)級(jí)云服務(wù)的“青云”,為何選擇加入這個(gè)賽道?最新推出的EHPC高性能計(jì)算平臺(tái),能給用戶帶來哪些差異化優(yōu)勢(shì)?我們先從大數(shù)據(jù)、人工智能與超算深度融合的角度開始談起!

高性能計(jì)算的腳步無處不在

所謂高性能計(jì)算,是指用大量服務(wù)器并行地對(duì)某一個(gè)任務(wù)執(zhí)行運(yùn)算,來解決工程和科學(xué)上的問題。就應(yīng)用而言,高性能計(jì)算用途很多,能模擬世界萬物。宏觀上,可以用衛(wèi)星圖像、遙感數(shù)據(jù)、氣象數(shù)據(jù)來模擬地球、海洋和氣侯,預(yù)測(cè)環(huán)境變化;微觀上,能通過分子原子模擬,進(jìn)行基因測(cè)序,來了解生命原理。

以云計(jì)算的方式提供超算,青云QingCloud EHPC做到了!

具體而言,高性能計(jì)算是如何結(jié)合人工智能、大數(shù)據(jù)技術(shù),與實(shí)際應(yīng)用場(chǎng)景深入融合的呢?青云QingCloud 云平臺(tái)&服務(wù)部高級(jí)總監(jiān)陳海泉,通過典型案例介紹,讓我們對(duì)高性能計(jì)算的認(rèn)知,有了質(zhì)的飛躍。

● 航空航天領(lǐng)域。我們基于過去幾十年衛(wèi)星照片的積累,再結(jié)合人工智能算法,通過地理信息的快速識(shí)別,全面分析地球變化,預(yù)測(cè)未來氣候情況如何。為了得到全球衛(wèi)星圖像,科學(xué)家動(dòng)用了1萬臺(tái)服務(wù)器,分析了 65萬張遙感影像,其數(shù)據(jù)量的龐大,簡(jiǎn)直無法想象。但是,有了超算平臺(tái),整個(gè)計(jì)算時(shí)間僅需要4個(gè)小時(shí)。

● 高端科學(xué)研究。中國(guó)科學(xué)院計(jì)算技術(shù)研究所副研究員商紅慧,通過模擬拉曼光譜,設(shè)計(jì)了全電子精度的第一性原理計(jì)算理論算法,從而得到蛋白質(zhì)分子的信息,使得藥物研發(fā)更快速、更精確。在多達(dá)3006個(gè)原子模擬的背后,是一套468 PFlops 算力的太湖之光超級(jí)計(jì)算機(jī)在支撐。

如果說科研場(chǎng)景距離我們的生活比較遠(yuǎn),那么HPC在能源、大型賽事、醫(yī)療、金融等行業(yè)方面的諸多應(yīng)用,一定會(huì)讓你感覺到近在咫尺。

● 石油勘探場(chǎng)景。工程師使用地震波反射法建模來模擬油藏,每次測(cè)量都會(huì)產(chǎn)生 PB 級(jí)的數(shù)據(jù),如何基于龐大的數(shù)據(jù)進(jìn)行密集計(jì)算和模擬,從而算出最優(yōu)鉆井位置?HPC在石油勘探效率提升層面,發(fā)揮了重要作用!

● 大型體育賽事現(xiàn)場(chǎng)支持。很多人都喜歡F1賽車比賽,那么主辦方是如何不斷提升觀賽體驗(yàn)的呢?紅牛車隊(duì)會(huì)在比賽前,根據(jù)賽道情況,做特定環(huán)境模擬。包括使用虛擬風(fēng)洞,來優(yōu)化空氣動(dòng)力學(xué);模擬電源散熱系統(tǒng),讓賽車發(fā)揮大功率;模擬碰撞優(yōu)化車身結(jié)構(gòu),讓賽車可以符合比賽的安全法規(guī)。最后,紅牛車隊(duì)會(huì)利用超算平臺(tái)的算力,在7 天內(nèi)完成所有模擬和優(yōu)化,以確保每場(chǎng)比賽都能發(fā)揮車隊(duì)和車手的優(yōu)勢(shì)。

● 醫(yī)藥行業(yè)。新冠疫情加速了大數(shù)據(jù)在醫(yī)藥和生命科學(xué)上的應(yīng)用,有效推進(jìn)了疫苗和核酸類藥物的研發(fā)。通過大數(shù)據(jù)獲取,僅在病毒出現(xiàn)一周后就完成了基因序列的測(cè)量;在超算平臺(tái)上,只用了4個(gè)小時(shí)就設(shè)計(jì)出 mRNA 新冠疫苗。

● 金融領(lǐng)域。大數(shù)據(jù)、人工智能與超算更是好結(jié)合,讓壞賬率降低了35%。通過超算平臺(tái)多維度的數(shù)據(jù)分析,以及持續(xù)迭代和優(yōu)化模型訓(xùn)練,有效實(shí)現(xiàn)了金融風(fēng)控的管理。

上述案例說明了三點(diǎn):一、HPC與高精尖科技密不可分,高科技要想進(jìn)步,必須基于大規(guī)模的數(shù)據(jù)進(jìn)行計(jì)算;二、大數(shù)據(jù)驅(qū)動(dòng)存儲(chǔ)跟算力融合,超算中心不僅要關(guān)注算力,還要應(yīng)對(duì)大數(shù)據(jù)的存儲(chǔ)挑戰(zhàn); 第三,人工智能應(yīng)用走向爆發(fā)階段,不管是機(jī)器學(xué)習(xí),還是深度學(xué)習(xí),已開始結(jié)合模型訓(xùn)練、數(shù)據(jù)推理計(jì)算等,解決實(shí)際業(yè)務(wù)問題。

如果用一句話來概括,高性能計(jì)算的發(fā)展,不再是一個(gè)遙不可及的高大上概念,而是已經(jīng)滲透到各行各業(yè),成為技術(shù)創(chuàng)新的動(dòng)力引擎。

如何讓高性能計(jì)算“好用又便宜”?

當(dāng)大數(shù)據(jù)、人工智能與超算深度融合,當(dāng)各行各業(yè)開始準(zhǔn)備把高性能計(jì)算引入核心業(yè)務(wù)時(shí),挑戰(zhàn)越來越明顯。

首先,大數(shù)據(jù)的存儲(chǔ)容量直線上升,帶來了直接的存儲(chǔ)成本。如何擁有無限的存儲(chǔ)容量、最高的性能,還要很便宜?

其次,不同類型的業(yè)務(wù)對(duì)存儲(chǔ)的要求也不一樣。超算中心如何對(duì)不同的業(yè)務(wù)提供合適的存儲(chǔ)類型?

熟悉HPC的人都知道,比較早的超算中心都是圍繞計(jì)算資源構(gòu)建,基本只有 Lustre 并行文件存儲(chǔ),并且容量有限,難以支撐大數(shù)據(jù)場(chǎng)景。而新一代的超算中心有些已經(jīng)配備了足夠大的容量,可以承接仿真建模類大數(shù)據(jù)業(yè)務(wù),但由于超算中心本身提供的服務(wù)比較單一,實(shí)際上也無法承載 MapReduce 這種純粹的大數(shù)據(jù)業(yè)務(wù)。

其三,在人工智能應(yīng)用爆發(fā)時(shí)代,要求超算中心要有充足的GPU資源,并且還要提供對(duì)應(yīng)的軟件框架,比如 TensorFlow。另外,在業(yè)務(wù)部署上,還希望用云原生的方式來運(yùn)行,這對(duì)以 Slurm 調(diào)度器為主的超算中心也是一個(gè)很大的挑戰(zhàn)。

大體來看,如何讓高性能計(jì)算“好用又便宜”?還有可探索的空間!

QingCloud EHPC為新業(yè)務(wù)場(chǎng)景而生

青云,是一家云計(jì)算企業(yè),能為人工智能、大數(shù)據(jù)和超算的融合提供基礎(chǔ)設(shè)施。但在支撐應(yīng)用場(chǎng)景落地時(shí),青云希望盡量能實(shí)現(xiàn)復(fù)用,而最新推出的EHPC,就是為解決傳統(tǒng)超算中心的痛點(diǎn)問題而生。

“QingCloud EHPC 是基于青云公有云IaaS、PaaS 層基礎(chǔ)架構(gòu),為生命科學(xué)、海洋氣象、地理測(cè)繪等基礎(chǔ)科研領(lǐng)域,以及前沿科學(xué)與大數(shù)據(jù)、人工智能技術(shù)結(jié)合形成的新興場(chǎng)景,提供從上云計(jì)算到結(jié)果產(chǎn)出的全流程SaaS化計(jì)算服務(wù)。” 青云QingCloud EHPC 產(chǎn)品經(jīng)理 苗慧,具體介紹了EHPC帶來的差異化優(yōu)勢(shì)。

● 更方便。傳統(tǒng)超算中心體驗(yàn)不好,使用時(shí)需要提交申請(qǐng),還要經(jīng)過人工審批,需要自己安裝VPN客戶端登錄節(jié)點(diǎn)。青云云平臺(tái)帶來的大變化是,把傳統(tǒng)的審批制度變成用戶自服務(wù)的形式,用戶隨時(shí)可以到云平臺(tái)注冊(cè)賬號(hào),充值購(gòu)買他需要的計(jì)算資源。

● 更安全。超算中心的登錄節(jié)點(diǎn)往往是很多用戶共享的狀態(tài),為了保證安全,往往不提供 root 權(quán)限,軟件安全過程非常麻煩。并且,Linux隔一段時(shí)間就會(huì)暴露出一些系統(tǒng)漏洞。如何解決超算中心的不安全問題?云平臺(tái)和高性能計(jì)算平臺(tái)的結(jié)合,是好選擇!

青云通過云計(jì)算技術(shù)確保了應(yīng)用的全面安全。EHPC在安全方面帶來三個(gè)改進(jìn):一,在計(jì)算、網(wǎng)絡(luò)跟存儲(chǔ)方面,實(shí)現(xiàn)了每個(gè)租戶在物理及邏輯層面的強(qiáng)隔離。二,管理節(jié)點(diǎn)跟計(jì)算節(jié)點(diǎn)分離,租戶可以使用完全獨(dú)享的登錄節(jié)點(diǎn)。第三,除了傳統(tǒng)的VPN接入,青云還能提供零信任客戶端,讓用戶登錄更便捷和安全。

● 更靈活。為了讓超算在使用體驗(yàn)上變得更靈活,青云提供了兩種不同類型的超算集群。一個(gè)是,偏傳統(tǒng)的共享型超算集群。雖然青云的計(jì)算集群是共享的,但提供給用戶的登錄節(jié)點(diǎn)是獨(dú)享狀態(tài),軟件安裝、執(zhí)行、操作還是在自己的節(jié)點(diǎn)上;另一個(gè)是最新的獨(dú)享EHPC集群。這種集群能給用戶提供一個(gè)root賬號(hào),用戶使用會(huì)非常方便。用戶不僅能自由地安裝所需要的系統(tǒng)軟件,還能切換超算平臺(tái)的各種軟件,比如和AI相關(guān)的TensorFlow,或者和大數(shù)據(jù)相關(guān)的Hadoop、MapReduce等。同時(shí),EHPC集群的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)類型,用戶都可以自由搭配。比如:硬件支持是GPU,還是CPU;網(wǎng)絡(luò)支持是以太網(wǎng),還是IB網(wǎng);存儲(chǔ)選擇上,是對(duì)象存儲(chǔ)、NAS,還是并行文件存儲(chǔ),都可以靈活選擇。

● 體驗(yàn)更好。為了打造高性能計(jì)算平臺(tái)的一站式體驗(yàn),青云還集成了不同行業(yè)的軟件庫(kù)。以工業(yè)仿真場(chǎng)景為例。這一功能的大的特點(diǎn)是,其“求解集群”能夠提供彈性算力,可以快速完成求解運(yùn)算。同時(shí),通過桌面虛擬應(yīng)用,可以幫助用戶完成圖形的前后處理,讓超算好體驗(yàn)覆蓋到工業(yè)仿真軟件的全部業(yè)務(wù)流程。

● 降低運(yùn)營(yíng)成本。超算業(yè)務(wù)一般都是短期、大規(guī)模部署的方式,比如:1萬個(gè)節(jié)點(diǎn)部署,只使用4個(gè)小時(shí)。這種突發(fā)業(yè)務(wù)增長(zhǎng),導(dǎo)致計(jì)算資源不夠,而其他用戶想使用計(jì)算資源的時(shí)候,需要長(zhǎng)時(shí)間排隊(duì);而業(yè)務(wù)少的時(shí)候,大量資源空置,造成了資源浪費(fèi),帶來了巨大的成本壓力。而QingCloud EHPC平臺(tái), 不僅能幫助用戶私有化部署超算云平臺(tái),還能運(yùn)營(yíng)自己的業(yè)務(wù)。通過連接全網(wǎng)算力的模式,EHPC可提供外部資源支撐,避免突發(fā)業(yè)務(wù)排隊(duì);而當(dāng)超算中心自己的資源空置時(shí),也可以對(duì)外出售算力,增加運(yùn)營(yíng)收入。

總體來看,青云的超算云平臺(tái),不僅好之地支撐了大數(shù)據(jù)和人工智能融合場(chǎng)景,還成為青云分布式云節(jié)點(diǎn)理念的重要一環(huán),共建一個(gè)資源共享的算力網(wǎng)絡(luò),這讓超算能力真正“走下神壇”,走向各行各業(yè)的具體應(yīng)用場(chǎng)景中,這應(yīng)該是超算以及云計(jì)算共同追求的理想境界。

文章標(biāo)題:以云計(jì)算的方式提供超算,青云QingCloudEHPC做到了!
網(wǎng)站地址:http://muchs.cn/news9/201809.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設(shè)計(jì)建站公司營(yíng)銷型網(wǎng)站建設(shè)、定制網(wǎng)站、小程序開發(fā)、手機(jī)網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

商城網(wǎng)站建設(shè)