如何將超大規(guī)模數(shù)據(jù)中心設(shè)計(jì)原則應(yīng)用于IT存儲(chǔ)

大型企業(yè)的存儲(chǔ)管理員可以借鑒全球主要的超大規(guī)模云計(jì)算提供商的基礎(chǔ)設(shè)施設(shè)計(jì)原則來優(yōu)化自己的存儲(chǔ)系統(tǒng)和操作。

為超大規(guī)模云平臺(tái)提供動(dòng)力的數(shù)據(jù)中心和IT系統(tǒng)代表了IT基礎(chǔ)設(shè)施設(shè)計(jì)和實(shí)施的頂峰。它們提供超出企業(yè)需要的可擴(kuò)展性、可靠性和吞吐量水平。

也就是說，包括存儲(chǔ)管理員在內(nèi)的企業(yè)IT團(tuán)隊(duì)可以從Google、AWS和其他全球主要公有云提供商那里學(xué)到很多東西。通過采用某些超大規(guī)模數(shù)據(jù)中心設(shè)計(jì)原則，存儲(chǔ)管理員可以致力于打造更具可擴(kuò)展性、彈性和自動(dòng)化的IT存儲(chǔ)系統(tǒng)。

關(guān)鍵的相似性和差異

超大規(guī)模云計(jì)算提供商和企業(yè)IT運(yùn)營商都在努力適應(yīng)數(shù)據(jù)的爆炸式增長。在支出方面，他們也有相似之處。在構(gòu)建服務(wù)器和存儲(chǔ)系統(tǒng)時(shí)，這些支出對(duì)云計(jì)算運(yùn)營商和在線服務(wù)提供商都很重要，由于IT系統(tǒng)中的設(shè)備數(shù)以萬計(jì)，看似很小的成本將會(huì)積少成多。雖然有些企業(yè)不太關(guān)注這樣的成本，并且愿意為值得信賴的云計(jì)算供應(yīng)商的產(chǎn)品支付更多費(fèi)用，但沒有任何IT組織愿意浪費(fèi)。

為了大限度地降低運(yùn)營成本(這是IT成本優(yōu)化的一個(gè)關(guān)鍵方面)，超大規(guī)模云計(jì)算提供商并不需要人工監(jiān)督的每項(xiàng)任務(wù)實(shí)現(xiàn)自動(dòng)化。任務(wù)自動(dòng)化的關(guān)鍵是軟件，在云計(jì)算基礎(chǔ)設(shè)施的背景下，它需要用可以在標(biāo)準(zhǔn)服務(wù)器上運(yùn)行的可擴(kuò)展軟件替換特定功能的硬件。

超大規(guī)模云計(jì)算運(yùn)營商的這些和其他要求以多種方式重塑了服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)行業(yè)，其中包括：

分布式冗余和可擴(kuò)展性的新技術(shù);

專注于由商品組件構(gòu)建的靈活硬件;

伴隨著從專用設(shè)備到在易于更換的標(biāo)準(zhǔn)服務(wù)器上運(yùn)行的軟件定義服務(wù)的轉(zhuǎn)變。

一旦IT組織和工程師采用云計(jì)算方法來處理，它就將所有IT服務(wù)(無論是計(jì)算資源還是存儲(chǔ)池)轉(zhuǎn)換為軟件處理。

超大規(guī)模數(shù)據(jù)中心設(shè)計(jì)和存儲(chǔ)影響

雖然傳統(tǒng)企業(yè)和公有云基礎(chǔ)設(shè)施之間存在相似之處，但這種類比并不適合。例如，傳統(tǒng)架構(gòu)往往涉及IT團(tuán)隊(duì)必須人工管理和修改的高成本基礎(chǔ)設(shè)施。這些架構(gòu)也往往具有少量固定數(shù)量的組件。然而，這種傳統(tǒng)的固定基礎(chǔ)設(shè)施對(duì)于公有云來說沒有意義，因?yàn)樵朴?jì)算具有按次付費(fèi)模式;如果企業(yè)減少其基礎(chǔ)設(shè)施足跡，就可以降低成本。公有云資源也會(huì)自動(dòng)擴(kuò)展。因此，隨需應(yīng)變的云服務(wù)屬性不適用于私有基礎(chǔ)設(shè)施。

盡管如此，IT團(tuán)隊(duì)可以應(yīng)用以下超大規(guī)模數(shù)據(jù)中心設(shè)計(jì)原則來優(yōu)化企業(yè)存儲(chǔ)：

(1)采用軟件抽象層

服務(wù)器是第一個(gè)虛擬化的基礎(chǔ)設(shè)施層，在物理硬件和邏輯資源之間有一個(gè)軟件抽象層。虛擬機(jī)(VM)成為企業(yè)應(yīng)用程序的標(biāo)準(zhǔn)運(yùn)行時(shí)環(huán)境。在過去的十年中，隨著虛擬機(jī)演變?yōu)槿萜?，軟件虛擬化已經(jīng)遍布整個(gè)數(shù)據(jù)中心。軟件定義網(wǎng)絡(luò)催生了軟件定義廣域網(wǎng)、網(wǎng)絡(luò)功能虛擬化和虛擬網(wǎng)絡(luò)覆蓋。軟件定義存儲(chǔ)(SDS)已將數(shù)據(jù)存儲(chǔ)設(shè)備與信息管理和數(shù)據(jù)放置控制平臺(tái)分離。

最初的軟件定義存儲(chǔ)(SDS)平臺(tái)是為特定用途而設(shè)計(jì)的，例如為虛擬機(jī)實(shí)例和數(shù)據(jù)庫提供塊卷。最近的產(chǎn)品變得與格式和協(xié)議無關(guān)，能夠跨多個(gè)節(jié)點(diǎn)分片數(shù)據(jù)并將其呈現(xiàn)為邏輯卷、網(wǎng)絡(luò)文件共享或?qū)ο蟠鎯?chǔ)。為了提供硬件的靈活性，軟件定義存儲(chǔ)(SDS)還可以與具有集成JBOD SSD、HDD硬盤和NVMe設(shè)備的標(biāo)準(zhǔn)服務(wù)器配套使用。

(2)構(gòu)建服務(wù)而不是基礎(chǔ)設(shè)施

通過將資源與物理硬件隔離，軟件抽象層提供了混合和匹配硬件的靈活性，可以讓團(tuán)隊(duì)將資源打包為服務(wù)而不是原始基礎(chǔ)設(shè)施。企業(yè)從超大規(guī)模云計(jì)算提供商那里獲得啟發(fā)，使用軟件定義存儲(chǔ)(SDS)提供對(duì)象、文件或卷服務(wù)，這些服務(wù)不僅包括容量，還包括備份、長期存檔、版本控制和質(zhì)量保證(QoS)級(jí)別等具有價(jià)值的輔助功能。

交付服務(wù)而不是基礎(chǔ)設(shè)施也為基礎(chǔ)設(shè)施設(shè)計(jì)和相關(guān)服務(wù)的打包提供了靈活性。它可以在不更改交付和計(jì)費(fèi)模型的情況下實(shí)現(xiàn)功能和性能升級(jí)。借助存儲(chǔ)即服務(wù)，管理員還可以使用具有不同性能和成本特征的服務(wù)器和驅(qū)動(dòng)器來提供不同的服務(wù)層，以及將數(shù)據(jù)分布在多個(gè)數(shù)據(jù)中心和區(qū)域之間以獲得更高的可用性。

(3)自動(dòng)化設(shè)計(jì)

用軟件定義的數(shù)據(jù)和信息管理服務(wù)代替原始存儲(chǔ)也促進(jìn)了任務(wù)自動(dòng)化。這反過來又降低了運(yùn)營支出，減少了配置時(shí)間，并提高了可靠性。軟件定義存儲(chǔ)(SDS)支持編程控制，因?yàn)樗_了大量用于存儲(chǔ)配置、部署、軟件更新和用戶配置的API。如果希望像超大規(guī)模云計(jì)算提供商一樣提供存儲(chǔ)，可以在Terraform、Ansible、SaltStack或VMwarev Realize Automation等自動(dòng)化和基礎(chǔ)設(shè)施即代碼平臺(tái)中使用軟件定義存儲(chǔ)(SDS)產(chǎn)品公開的API，因?yàn)檫@會(huì)將人工流程轉(zhuǎn)換為可編程腳本。

(4)計(jì)劃失敗

服務(wù)器和存儲(chǔ)設(shè)備經(jīng)常宕機(jī)。而對(duì)于擁有數(shù)十萬臺(tái)服務(wù)器和數(shù)百萬個(gè)驅(qū)動(dòng)器的云計(jì)算提供商來說，發(fā)生故障屢見不鮮。應(yīng)該為應(yīng)對(duì)失敗進(jìn)行設(shè)計(jì)，確保宕機(jī)的驅(qū)動(dòng)器或服務(wù)器不會(huì)破壞存儲(chǔ)卷或?qū)ο骲lob。一種標(biāo)準(zhǔn)技術(shù)涉及將文件、blob或卷分片為在多個(gè)驅(qū)動(dòng)器、節(jié)點(diǎn)和數(shù)據(jù)中心之間復(fù)制和分布的塊，使用糾刪碼、散列或類似算法來保證數(shù)據(jù)完整性。

有些故障不涉及數(shù)據(jù)破壞，而是損壞或性能損失。云計(jì)算運(yùn)營商可以持續(xù)監(jiān)控此類事件，并使用自動(dòng)通知系統(tǒng)和腳本來修復(fù)或減輕損害，而無需人工干預(yù)——并且希望在用戶注意到之前解決。監(jiān)控還可以確定任何損壞或中斷的程度，并將傳入的存儲(chǔ)請(qǐng)求路由到完整的副本和未受影響的數(shù)據(jù)中心。

(5)強(qiáng)調(diào)可擴(kuò)展性

IT團(tuán)隊(duì)一直在努力滿足存儲(chǔ)容量需求。但是如今，加速的數(shù)據(jù)增長已經(jīng)在許多企業(yè)中帶來了危機(jī)。要像超大規(guī)模云平臺(tái)一樣構(gòu)建存儲(chǔ)，需要按照摩爾定律類型的增長進(jìn)行設(shè)計(jì)。管理員應(yīng)該能夠添加存儲(chǔ)節(jié)點(diǎn)和JBOD陣列以無中斷地?cái)U(kuò)展橫向擴(kuò)展系統(tǒng)。

軟件定義存儲(chǔ)(SDS)對(duì)此類設(shè)計(jì)至關(guān)重要，因?yàn)樗鼘⒖刂破脚_(tái)(卷、文件和節(jié)點(diǎn)管理和配置)與數(shù)據(jù)平臺(tái)(存儲(chǔ)節(jié)點(diǎn)和陣列)分開。因此，向分布式系統(tǒng)添加容量不需要?jiǎng)h除和遷移卷。相反，IT人員可以添加節(jié)點(diǎn)，并使系統(tǒng)能夠在新的可用容量之間自動(dòng)重新分配數(shù)據(jù)。

與傳統(tǒng)的基于SAN的企業(yè)存儲(chǔ)設(shè)計(jì)不同，超大規(guī)模云平臺(tái)不會(huì)縱向擴(kuò)展和整合——它們橫向擴(kuò)展和分布。他們還使用監(jiān)控遙測(cè)和預(yù)測(cè)機(jī)器學(xué)習(xí)算法來確定容量增加的擴(kuò)展配置文件，其目標(biāo)是在不浪費(fèi)太多預(yù)留空間的情況下?lián)碛凶銐虻娜萘俊?/p>

(6)記住機(jī)器是可替代的

與傳統(tǒng)存儲(chǔ)系統(tǒng)相比，運(yùn)行軟件定義存儲(chǔ)(SDS)堆棧的標(biāo)準(zhǔn)服務(wù)器可以節(jié)省資金。企業(yè)可以采用廉價(jià)的商品服務(wù)器替代昂貴的專有存儲(chǔ)硬件。然而，這些服務(wù)器是可替代的，由于每個(gè)文件或數(shù)據(jù)塊都在多個(gè)節(jié)點(diǎn)上的驅(qū)動(dòng)器之間復(fù)制，因此一兩個(gè)系統(tǒng)的故障不會(huì)影響整個(gè)數(shù)據(jù)量。機(jī)器互換性和數(shù)據(jù)冗余還讓IT人員可以在方便的時(shí)間批量進(jìn)行維修或更換。

企業(yè)的IT組織必須能夠證明橫向擴(kuò)展分布式設(shè)計(jì)所需的系統(tǒng)數(shù)量是合理的。

標(biāo)題名稱：如何將超大規(guī)模數(shù)據(jù)中心設(shè)計(jì)原則應(yīng)用于IT存儲(chǔ)
網(wǎng)站路徑：http://muchs.cn/news37/202887.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)、外貿(mào)建站、域名注冊(cè)、ChatGPT、關(guān)鍵詞優(yōu)化、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)