大數(shù)據(jù)存儲,讓預(yù)測更準(zhǔn)確

互聯(lián)網(wǎng)IDC圈12月30日報道：在日常的生活中,人們越來越關(guān)注天氣的變化,并根據(jù)天氣預(yù)報來安排生活和工作。比如平常的雨天會給人們的出行帶來不便，霧霾天氣更是不利于戶外活動，另外許多季節(jié)性的疾病也與天氣變化密切相關(guān)，關(guān)乎人們的身體健康。所以能夠預(yù)知近期的天氣情況,可以及早的做好各種準(zhǔn)備，能讓人更加從容的安排生活和工作。

創(chuàng)新互聯(lián)公司是專業(yè)的普洱網(wǎng)站建設(shè)公司，普洱接單;提供網(wǎng)站制作、成都網(wǎng)站設(shè)計,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行普洱網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊,希望更多企業(yè)前來合作!

隨著人們對生活質(zhì)量的要求不斷提高，對天氣預(yù)報要求也越來越高，要求天氣預(yù)報的精度高，預(yù)報刷新周期短，預(yù)測時間范圍廣。這對支撐觀測業(yè)務(wù)、預(yù)報業(yè)務(wù)的IT系統(tǒng)，尤其是對存儲的性能及容量提出了嚴(yán)峻的考驗。因為氣象觀測，會產(chǎn)生大量的觀測數(shù)據(jù)，接著把這些觀測數(shù)據(jù)匯聚到地面應(yīng)用系統(tǒng)的存儲系統(tǒng)，再經(jīng)過復(fù)雜的計算，最后才能生成未來天氣的預(yù)測結(jié)果。因此，輸入的數(shù)據(jù)越全面，數(shù)值越準(zhǔn)確，數(shù)據(jù)的計算處理速度越快，生成的結(jié)果就越及時。

傳統(tǒng)的預(yù)測領(lǐng)域，存儲系統(tǒng)普遍采用IBM的GPFS和開源的Lustre技術(shù)，它們都興起于20世紀(jì)90年代，用于生產(chǎn)系統(tǒng)有著共同的特點：

1) 與SAN陣列技術(shù)發(fā)展同步，存儲的組網(wǎng)模式基本以SAN為主;SAN的組網(wǎng)比較復(fù)雜，購買、使用和運維的門檻都比較高

2) 可靠性依賴傳統(tǒng)的存儲節(jié)點內(nèi)的RAID，節(jié)點間的可靠性弱

3) 隨著單盤容量越來越大，傳統(tǒng)RAID在出現(xiàn)磁盤故障，其數(shù)據(jù)重構(gòu)時間長達(dá)數(shù)十小時，而且在重構(gòu)過程中，存儲系統(tǒng)變得非常脆弱，性能下降，數(shù)據(jù)丟失風(fēng)險高;

4) 另外隨著數(shù)據(jù)爆炸性增長，傳統(tǒng)SAN的容量和性能擴(kuò)展性越來越成為主要瓶頸。

相比于以上兩種傳統(tǒng)分布式存儲，以普通X86服務(wù)器為存儲介質(zhì)，通過對象存儲技術(shù)、并行訪問技術(shù)、Scale-out橫向擴(kuò)展技術(shù)和單一組網(wǎng)為特征的新型分布式存儲架構(gòu)得到迅猛發(fā)展。分布式存儲系統(tǒng)將大量節(jié)點組織成統(tǒng)一系統(tǒng)，提供增刪節(jié)點的能力，大大增加了系統(tǒng)可擴(kuò)展性。其次，將數(shù)據(jù)分片打散到系統(tǒng)內(nèi)多個節(jié)點的硬盤上，分布式存儲的可靠性大大提升。 再者，每個存儲節(jié)點上都提供服務(wù)的能力，提升了性能，減少了瓶頸點的發(fā)生。

分布式存儲，在業(yè)界有代表性的產(chǎn)品是華為的OceanStor 9000存儲。OceanStor 9000大數(shù)據(jù)存儲系統(tǒng)是華為推出的全對稱架構(gòu)的分布式存儲系統(tǒng)，在業(yè)界以領(lǐng)先的卓越性能、大規(guī)模橫向擴(kuò)展能力和超大單一文件系統(tǒng)著稱。

在容量和擴(kuò)展性方面，OceanStor 9000采用全對稱結(jié)構(gòu)，將所有節(jié)點的命名空間整合為統(tǒng)一命名空間，將整個系統(tǒng)的所有節(jié)點的存儲容量組成一個大的虛擬存儲池，元數(shù)據(jù)和數(shù)據(jù)保存在每個節(jié)點上，每個節(jié)點都是元數(shù)據(jù)服務(wù)器。同時也是數(shù)據(jù)服務(wù)器，保障了系統(tǒng)的擴(kuò)展性。

在性能方面，為實現(xiàn)數(shù)據(jù)保護(hù)和高性能讀寫，OceanStor 9000對數(shù)據(jù)進(jìn)行按節(jié)點條帶化處理，讀寫數(shù)據(jù)時文件系統(tǒng)將用戶的數(shù)據(jù)平均分布在各節(jié)點上，保障了系統(tǒng)的性能。OceanStor 9000支持全局緩存功能，在高性能計算應(yīng)用場景時，根據(jù)業(yè)務(wù)對數(shù)據(jù)的訪問模型進(jìn)行預(yù)測，提前將預(yù)計即將被訪問的文件或某些目錄中的所有文件提前預(yù)先存儲到系統(tǒng)的全局緩存中，從而提高應(yīng)用獲取數(shù)據(jù)的效率。

在可靠性方面，OceanStor 9000的數(shù)據(jù)保護(hù)技術(shù)，是建立在分布式、節(jié)點間冗余的基礎(chǔ)上的。數(shù)據(jù)進(jìn)入系統(tǒng)之后，首先被切分為N個數(shù)據(jù)條帶，然后計算出M個冗余條帶，并最終保存在N+M個不同的節(jié)點中。由于同一條帶的數(shù)據(jù)保存在不同節(jié)點中，所以O(shè)ceanStor 9000存儲系統(tǒng)中的數(shù)據(jù)不僅能支持硬盤級的故障，而且能夠支持節(jié)點級的故障，保證數(shù)據(jù)不丟失。只要系統(tǒng)中同時故障的節(jié)點數(shù)不超過M，系統(tǒng)就可以持續(xù)提供服務(wù)。通過數(shù)據(jù)重構(gòu)過程，系統(tǒng)可以恢復(fù)出損壞的數(shù)據(jù)，恢復(fù)整系統(tǒng)的數(shù)據(jù)可靠性。

除此之外，OceanStor 9000還支持靈活的負(fù)載均衡功能，可以根據(jù)當(dāng)前CPU利用率、當(dāng)前內(nèi)存利用率、當(dāng)前網(wǎng)絡(luò)吞吐量、當(dāng)前客戶端連接數(shù)等信息，平均的讓每個節(jié)點均對外承擔(dān)服務(wù)。

在真實的應(yīng)用中，以某氣象機(jī)構(gòu)為例，華為的OceanStor9000的3個節(jié)點，單節(jié)點寫性能可以達(dá)到1.3GB/s,而讀性能可以達(dá)到1.9GB/s，由于3節(jié)點是其最低配置，后續(xù)通過增加節(jié)點數(shù)量，性能容量均能線性提升。

經(jīng)過以上對OceanStor 9000產(chǎn)品的架構(gòu)分析以及實際的應(yīng)用性能分析，該存儲平臺能夠很好的滿足氣象應(yīng)用中非結(jié)構(gòu)化數(shù)據(jù)對存儲容量、性能的需求。它能夠根據(jù)業(yè)務(wù)增長進(jìn)行平滑擴(kuò)容，系統(tǒng)每增加一個存儲節(jié)點，都能夠自動識別，將該存儲空間加入到整系統(tǒng)中，并根據(jù)負(fù)載均衡的原則，優(yōu)先選擇新的節(jié)點存儲，從而簡化了系統(tǒng)擴(kuò)容的管理，降低了操作成本。擴(kuò)容時容量和性能支持線性擴(kuò)展，真正實現(xiàn)"應(yīng)需而變"，為業(yè)務(wù)的長期髙效可靠運行提供保障。

網(wǎng)站名稱：大數(shù)據(jù)存儲,讓預(yù)測更準(zhǔn)確
文章位置：http://www.muchs.cn/article42/sopjec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、網(wǎng)站排名、網(wǎng)站內(nèi)鏈、微信小程序、服務(wù)器托管、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)