云計算中先進的網(wǎng)絡基礎設施平臺的工作流程以及環(huán)境建設

科學的進步與高效使用高性能計算基礎架構(gòu)以及從大量數(shù)據(jù)中有效提取知識緊密相關(guān)。此類數(shù)據(jù)來自不同來源，這些來源遵循一個周期，該周期由用于數(shù)據(jù)管理的預處理步驟和為后續(xù)計算步驟準備以及隨后應用于結(jié)果的后續(xù)分析和分析步驟組成。

創(chuàng)新互聯(lián)專注于城北網(wǎng)站建設服務及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供城北營銷型網(wǎng)站建設，城北網(wǎng)站制作、城北網(wǎng)頁設計、城北網(wǎng)站官網(wǎng)定制、微信平臺小程序開發(fā)服務，打造城北網(wǎng)絡公司原創(chuàng)品牌,更為您提供城北網(wǎng)站排名全網(wǎng)營銷落地服務。

但是，科學工作流目前分散在多個組件中，具有用于計算和數(shù)據(jù)管理的不同過程，并且在所涉及的用戶配置文件的觀點上存在差距。我們的愿景是，未來的工作流程環(huán)境和用于開發(fā)科學工作流程的工具應遵循整體方法，其中數(shù)據(jù)和計算都集成在基于簡單，高級界面的單一流程中。我們提出的研究主題涉及新穎的方式來表達集成了不同數(shù)據(jù)和計算過程的工作流，動態(tài)運行時以有效的方式在性能和能源方面支持復雜和異構(gòu)計算基礎架構(gòu)中工作流的執(zhí)行。

。這些基礎設施包括高度分散的資源，從傳感器和儀器以及邊緣設備到高性能計算和云計算資源。本文介紹了我們開發(fā)這些工作流環(huán)境的愿景，以及我們目前正在實現(xiàn)該愿景的步驟。動態(tài)運行時，以高效和高效的方式支持復雜和異構(gòu)計算基礎架構(gòu)中工作流的執(zhí)行。這些基礎設施包括高度分散的資源，從傳感器和儀器以及邊緣設備到高性能計算和云計算資源。

本文介紹了我們開發(fā)這些工作流環(huán)境的愿景，以及我們目前正在實現(xiàn)該愿景的步驟。動態(tài)運行時，以高效和高效的方式支持復雜和異構(gòu)計算基礎架構(gòu)中工作流的執(zhí)行。這些基礎設施包括高度分散的資源，從傳感器和儀器以及邊緣設備到高性能計算和云計算資源。本文介紹了我們開發(fā)這些工作流環(huán)境的愿景，以及我們目前正在實現(xiàn)該愿景的步驟。

本文提出了我們的愿景和路線圖，以開發(fā)新的環(huán)境和工具來支持科學社區(qū)，并使科學工作流程的生產(chǎn)力大幅提高。需要考慮的變量有很多：科學應用越來越復雜；數(shù)據(jù)量巨大且性質(zhì)多樣，這一問題也越來越復雜；科學家可以使用的軟件組件和工具數(shù)量龐大且難以使用；計算、存儲和其他基礎設施資源的復雜性和多樣性也在增加。

所有這些都阻礙了科學家把注意力集中在需要解決的實際問題上，造成了與之抗爭的科學界浪費的時間和資源，延緩了科學的發(fā)展。更好的科學工作流程開發(fā)方法將產(chǎn)生影響，首先是通過加快可能的新發(fā)現(xiàn)，而現(xiàn)在不可能的新科學應用將成為事實。由于這些科學進步，這有可能產(chǎn)生直接的社會影響。此外，不可忽視的是，科學界正在以不科學的方式使用大型計算和存儲基礎設施，這會帶來經(jīng)濟和能源成本。

有了這種新穎的工作流環(huán)境和工具，科學家們將能夠同時處理涉及高性能計算機應用、機器學習和大數(shù)據(jù)組件的工作流。該項目開發(fā)的新方法將有助于更有效地利用基礎設施，降低所需成本和能源，從而減少碳足跡，因為高性能混凝土和其他基礎設施消耗的能源是不可忽視的。

一、 介紹和運動

大規(guī)模計算是一種使研究和

不同領(lǐng)域的進展，例如個性化醫(yī)學、氣候預測或基因組學，其結(jié)果可能會產(chǎn)生社會影響。這些研究學科中的大多數(shù)都有一個共同因素，即不同類型的來源（遙感器、主要科學儀器、衛(wèi)星、來自智能城市項目的無數(shù)分布式傳感器等）產(chǎn)生的大量輸入數(shù)據(jù)，其性質(zhì)是異構(gòu)的，需要大量存儲。所有這些輸入數(shù)據(jù)都經(jīng)過不同的預處理步驟，以將原始數(shù)據(jù)轉(zhuǎn)換為可用的輸入數(shù)據(jù)，如同質(zhì)化為單一格式、縮減、過濾等。

這些數(shù)據(jù)用作復雜模擬或建模過程的輸入數(shù)據(jù)，傳統(tǒng)上，這些模擬或建模過程是在大型高性能計算（HPC）基礎設施中執(zhí)行的，其目的是生成預測或?qū)嶋H過程進行模擬（如預測明天的天氣或?qū)o定藥物的行為進行建模）一種特殊的疾?。＿@些高性能計算過程產(chǎn)生了大量的輸出數(shù)據(jù)，在某些情況下也是異質(zhì)性的，這些數(shù)據(jù)后來被分析和簡化，用于用實驗數(shù)據(jù)驗證預測和推論，是獲得新的科學發(fā)現(xiàn)的來源。例如，氣候變化試驗耦合模式相互比較項目第6階段（CMIP6）將在31個中心之間進行，將涉及52個天氣和氣候模式。本實驗輸出數(shù)據(jù)所需的存儲量估計為60pbytes[1]。

上面描述的內(nèi)容與計算社區(qū)聯(lián)盟（Computing Community Consortium）最近的一份白皮書中描述的內(nèi)容相匹配，該白皮書提供了科學過程的一般視圖[2]。本出版物支持科學方法的經(jīng)典觀點，認為科學方法是一個復雜的推理過程，它試圖通過一個徹底的、可控的觀察來理解自然。根據(jù)這一觀點，科學過程由三個推理步驟組成：推斷（即猜測一個解釋）、推斷（即確定一組命題的必要結(jié)果）和歸納（即進行基于抽樣的概括）。

圖1展示了大數(shù)據(jù)和極端規(guī)模計算（BDEC）在最近發(fā)表的白皮書[3]中看到的該模型的這些關(guān)鍵邏輯元素的版本，BDEC是我們參與的一項國際倡議，其重點是如何實現(xiàn)高端數(shù)據(jù)分析（HDA）和高性能計算（HPC）的融合。雖然誘拐和歸納階段意味著分析和分析過程（HDA技術(shù)）的使用，但演繹階段通常是HPC過程。然而，到目前為止，科學過程的三個不同步驟都是通過分離的方法和工具實現(xiàn)的，缺乏集成，對整個過程缺乏共同的看法。BDEC的主要建議是解決這兩種模式之間分裂的基本問題：HPC/HDA軟件生態(tài)系統(tǒng)分裂。

雖然HPC和HDA是科學進步所必需的，但傳統(tǒng)的科學計算工作流程被分割成不同的部分，HPC和HDA階段使用不同的編程模型和不同的環(huán)境，導致缺乏全局視角。此外，海量數(shù)據(jù)及其格式的異構(gòu)性，阻礙了科學結(jié)論的產(chǎn)生。

此外，過程中涉及的不同技術(shù)和科學成果的重點可能不同。雖然從計算機科學的角度來看，重點一直放在用于進行預測/模擬的編程模型和應用程序上，但科學應用程序的開發(fā)人員更重視問題的數(shù)據(jù)方面：元數(shù)據(jù)和可追溯性對他們至關(guān)重要。

所有這些差異和關(guān)注點都因當前計算基礎設施的復雜性而增加：在大型高性能計算機系統(tǒng)中發(fā)現(xiàn)運行非常不合理的科學工作流是很常見的（使用的可能性能百分比很低）。我們面臨著新的處理器架構(gòu)和不同類型的處理器（通用處理器、圖形處理器、可編程設備）、新的持久性存儲技術(shù)以及將這些復雜系統(tǒng)的所有元素互連的新方法。HPC系統(tǒng)將與公共和私有云基礎設施相結(jié)合，更重要的是，未來科學工作流程將要執(zhí)行的系統(tǒng)還將包括邊緣設備，如傳感器或科學儀器，這些設備將流式傳輸連續(xù)的數(shù)據(jù)流，同樣地，科學家們希望將結(jié)果流式輸出，以便對科學結(jié)果進行監(jiān)控、流式傳輸和可視化，以實現(xiàn)互動性。此外，信息和通信技術(shù)進程的碳足跡也是一個令人擔憂的問題，減少碳足跡將是晚上9點“地平線歐洲”的目標之一?？茖W應用程序開發(fā)人員正努力解決所有這些問題，這使得整體科學工作的開發(fā)變得非常復雜。

本文提出了我們在工作流程環(huán)境和工具方面的研究建議，以便按照一種整體方法開發(fā)科學工作流程，這種方法將數(shù)據(jù)和計算過程放在同一個層面上，并基于簡單和高級的接口集成在一個單一的流程中，同時，智能運行時能夠以節(jié)能的方式利用底層計算連續(xù)體基礎設施的性能。

論文結(jié)構(gòu)如下：第二節(jié)介紹了國內(nèi)外研究現(xiàn)狀及相關(guān)工作中涉及的課題。第三節(jié)介紹了BDEC倡議和本研究中考慮的基礎設施，而第四節(jié)則介紹了我們對這些基礎設施的工作流環(huán)境開發(fā)的愿景。第五節(jié)提出了一些關(guān)于工作流程環(huán)境中現(xiàn)有多學科用戶產(chǎn)品的想法，以及匹配這些不同產(chǎn)品所需的必要抽象級別。第六節(jié)介紹了本集團為實現(xiàn)上述愿景而正在進行的工作，以及我們計劃如何實現(xiàn)這一愿景。最后，第七節(jié)對論文進行了總結(jié)。

網(wǎng)頁題目：云計算中先進的網(wǎng)絡基礎設施平臺的工作流程以及環(huán)境建設
網(wǎng)頁地址：http://www.muchs.cn/article18/cjpogp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、品牌網(wǎng)站制作、電子商務、營銷型網(wǎng)站建設、App開發(fā)、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)