大數(shù)據(jù)和物聯(lián)網(wǎng)項目帶來了獨特的存儲需求

隨著物聯(lián)網(wǎng)和大數(shù)據(jù)的應(yīng)用與發(fā)展，企業(yè)中的數(shù)據(jù)量每天都在增加，因此需要了解如何滿足這些新的IT計劃的存儲需求。

馬龍ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

從冰箱到汽車，物聯(lián)網(wǎng)涉及幾乎所有配置傳感器的所有設(shè)備，并通過互聯(lián)網(wǎng)連接將數(shù)據(jù)傳輸?shù)街醒氪鎯爝M行存儲。一旦存在，它就成為大數(shù)據(jù)的一部分，這是對所有信息的分析。

然而，大數(shù)據(jù)的應(yīng)用遠遠超出了物聯(lián)網(wǎng)（IoT）。大數(shù)據(jù)項目可以分析來自傳統(tǒng)或現(xiàn)代數(shù)據(jù)庫甚至非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)。大數(shù)據(jù)還可以將傳感器收集的看似無關(guān)的信息與傳統(tǒng)數(shù)據(jù)庫中的信息相關(guān)聯(lián)，以提高組織效率。例如，交通運輸公司可以在其車輛中使用傳感器來引導(dǎo)駕駛員選擇提高運輸效率和降低燃料成本的路線。

采用大數(shù)據(jù)或物聯(lián)網(wǎng)項目的好處可以提高生產(chǎn)力，更好的健康或更加愉快的生活。隨著用戶對這一概念越來越適應(yīng)，這些技術(shù)允許安裝越來越少的設(shè)備，數(shù)據(jù)組織的收集量呈指數(shù)增長。人們面臨的挑戰(zhàn)是如何存儲這種數(shù)據(jù)，因為其在類型和數(shù)量上與傳統(tǒng)存儲數(shù)據(jù)明顯不同。

存儲需要一個大數(shù)據(jù)和物聯(lián)網(wǎng)項目

從存儲的角度來看，物聯(lián)網(wǎng)和大數(shù)據(jù)是相似的，但他們有不同的需求。物聯(lián)網(wǎng)項目的存儲響應(yīng)取決于用例。對于傳感器，物聯(lián)網(wǎng)存儲系統(tǒng)需要同時處理來自數(shù)百萬個傳感器的快速輸入。因為這些傳感器產(chǎn)生的數(shù)據(jù)通常很小，所以目標(biāo)存儲系統(tǒng)需要存儲可能達到數(shù)萬億個小文件，而不會影響性能。

但物聯(lián)網(wǎng)項目的數(shù)據(jù)還可以包括來自攝像機或無人機的監(jiān)視圖像。此數(shù)據(jù)類型通常是連續(xù)流，因此其存儲取決于高帶寬和存儲，這需要比傳感器用例更少但卻大得多的大容量文件的能力。而這種挑戰(zhàn)更加令人生畏的是，組織為這兩種物聯(lián)網(wǎng)用例都需要提供更大的存儲空間。

從大數(shù)據(jù)的角度來看，存儲系統(tǒng)需要訪問物聯(lián)網(wǎng)項目創(chuàng)建的所有或至少大部分數(shù)據(jù)。組織還可以使用大數(shù)據(jù)項目來分析現(xiàn)有數(shù)據(jù)庫和其他非結(jié)構(gòu)化數(shù)據(jù)，以及關(guān)聯(lián)不同的數(shù)據(jù)集。

到目前為止，大數(shù)據(jù)最常見的基礎(chǔ)是Hadoop文件系統(tǒng)。Hadoop文件系統(tǒng)（HDFS）創(chuàng)建處理服務(wù)器集群，并將分析作業(yè)分配給集群中任務(wù)量最少的節(jié)點。其意圖是節(jié)點需要分析的數(shù)據(jù)在該節(jié)點上都是本地數(shù)據(jù)。這種情況消除了對昂貴的網(wǎng)絡(luò)基礎(chǔ)設(shè)施的需要，并能夠使用低成本的服務(wù)器級存儲設(shè)備，而不是昂貴的共享企業(yè)級存儲設(shè)備。

物聯(lián)網(wǎng)和大數(shù)據(jù)的數(shù)據(jù)占用和存儲I/O的要求與傳統(tǒng)數(shù)據(jù)中心應(yīng)用并不相同。首先，物聯(lián)網(wǎng)數(shù)據(jù)通常是連續(xù)饋送。數(shù)據(jù)大小可以從小到大，而所需要存儲的文件數(shù)量可以達到數(shù)萬億。這使其更容易快速創(chuàng)建大量的數(shù)據(jù)，其結(jié)果是存在對容量增長的持續(xù)需求。

這種增長必須快速擴張，并且不會造成破壞。物聯(lián)網(wǎng)項目的存儲系統(tǒng)還需要成本有效地擴展，以便組織能夠長時間存儲PB級數(shù)據(jù)。這需要更低的管理成本和負擔(dān)。大多數(shù)IT人員根本無法管理來自六個不同供應(yīng)商的十幾個存儲系統(tǒng)。IT專業(yè)人員需要將其存儲硬件要求推廣到一至三個涵蓋一級和二級應(yīng)用程序的存儲系統(tǒng)，以及物聯(lián)網(wǎng)和大數(shù)據(jù)創(chuàng)建的大量非結(jié)構(gòu)化數(shù)據(jù)。

尋找到物聯(lián)網(wǎng)項目挑戰(zhàn)的答案

物聯(lián)網(wǎng)和大數(shù)據(jù)的應(yīng)用為IT專業(yè)人員帶來了一系列挑戰(zhàn)。物聯(lián)網(wǎng)有兩種不同的文件存儲需求，大多數(shù)組織最終都需要這兩者。第一個需要隨機攝取數(shù)萬億的小文件。第二個需要高得多的帶寬流的文件，只是數(shù)量少得多，但卻大得多。單個存儲系統(tǒng)極少提供這兩種功能。通常，它們被調(diào)整為處理數(shù)萬億的小文件或調(diào)整為大型的流文件。

從大數(shù)據(jù)的角度來看，存儲系統(tǒng)需要訪問物聯(lián)網(wǎng)項目創(chuàng)建的所有或至少大部分數(shù)據(jù)。

大數(shù)據(jù)項目帶來了另一組挑戰(zhàn)。首先，來自物聯(lián)網(wǎng)項目的大部分（如果不是全部）數(shù)據(jù)需要轉(zhuǎn)移到Hadoop集群進行分析。第二，Hadoop集群必須能夠訪問業(yè)務(wù)中的傳統(tǒng)數(shù)據(jù)，例如數(shù)據(jù)庫和用戶數(shù)據(jù)。此外，HDFS本身也有挑戰(zhàn)。例如，單個節(jié)點負責(zé)分析作業(yè)分配。它還存儲群集的所有元數(shù)據(jù)。如果該節(jié)點關(guān)閉，整個集群可能會失敗。

組織還面臨Hadoop的本地存儲設(shè)計的挑戰(zhàn)。通過在節(jié)點之間復(fù)制數(shù)據(jù)副本來進行數(shù)據(jù)保護。大多數(shù)組織將選擇三方復(fù)制作為默認值。這意味著從容量角度看，這些挑戰(zhàn)將會乘以三倍，再加上已經(jīng)駐留在物聯(lián)網(wǎng)存儲系統(tǒng)上的數(shù)據(jù)，這對容量提出了更高的要求。

Hadoop設(shè)計中的另一個挑戰(zhàn)是，集群中處理作業(yè)的最可用節(jié)點實際上可能不會在其上存儲數(shù)據(jù)。這意味著作業(yè)將具有處理其能力較差的節(jié)點，或者該作業(yè)需要將數(shù)據(jù)傳送到最有能力的節(jié)點。

然后，其核心問題變成：單個存儲系統(tǒng)可以解決所有這些問題嗎？答案取決于用例。對象存儲系統(tǒng)顯然是用于物聯(lián)網(wǎng)數(shù)據(jù)的后端存儲設(shè)備。經(jīng)驗告訴人們，對象存儲系統(tǒng)經(jīng)足夠支持Hadoop環(huán)境。

對于物聯(lián)網(wǎng)環(huán)境，對象存儲系統(tǒng)善于處理高要求的文件對象計數(shù)環(huán)境。大多數(shù)對象存儲系統(tǒng)也可以是用于Hadoop環(huán)境的后端存儲設(shè)備，通過Amazon簡單存儲設(shè)備的兼容性，或在某些情況下，本機提供HDFS支持。為Hadoop基礎(chǔ)設(shè)施提供共享存儲后端增加了網(wǎng)絡(luò)延遲，但它減輕了單個主要控制節(jié)點的負擔(dān)。它還消除了對3倍復(fù)制的需要，因為大多數(shù)對象存儲系統(tǒng)使用基于奇偶校驗的數(shù)據(jù)保護方案，例如擦除編碼。

使用對象存儲系統(tǒng)的另一個優(yōu)點是物聯(lián)網(wǎng)設(shè)備可以直接將數(shù)據(jù)發(fā)送到Hadoop環(huán)境使用的同一存儲設(shè)備中。數(shù)據(jù)的共享意味著容量消耗的減少，并且不浪費等待數(shù)據(jù)在物聯(lián)網(wǎng)數(shù)據(jù)存儲設(shè)備和Hadoop存儲設(shè)備之間傳輸?shù)臅r間。

該設(shè)計面臨的挑戰(zhàn)是數(shù)據(jù)中心可能仍然需要為其生產(chǎn)應(yīng)用環(huán)境提供另一個存儲系統(tǒng)。組織還可能需要存儲和處理來自IP攝像機和類似物聯(lián)網(wǎng)設(shè)備的視頻數(shù)據(jù)。如果是這種情況，那么一些對象存儲系統(tǒng)可能并不合適；調(diào)整其他存儲系統(tǒng)以同時有效地處理大文件和小文件不是最佳的選擇。

超越對象存儲

數(shù)據(jù)中心內(nèi)的協(xié)議開始混合。市場上的許多存儲系統(tǒng)可以提供各種協(xié)議支持，包括對象，網(wǎng)絡(luò)文件系統(tǒng)（NFS），服務(wù)器消息塊（SMB），全球互聯(lián)網(wǎng)小型計算機系統(tǒng)接口（iSCSI）甚至光纖信道（FC）。

每個協(xié)議對不同的用例執(zhí)行良好。例如，采用光纖信道（FC）是關(guān)鍵任務(wù)數(shù)據(jù)庫的理想選擇，但對于Tier2和Tier3應(yīng)用程序而言，它們通常被認為過于昂貴。全球互聯(lián)網(wǎng)小型計算機系統(tǒng)接口（iSCSI）通常是較低優(yōu)先級應(yīng)用程序的選協(xié)議。網(wǎng)絡(luò)文件系統(tǒng)（NFS）非常適合高性能文件共享，并且正在獲得作為虛擬機映像存儲區(qū)域的牽引力。即使對于大數(shù)據(jù)或物聯(lián)網(wǎng)項目，有時網(wǎng)絡(luò)文件系統(tǒng)（NFS）也比對象存儲更合適。

大多數(shù)數(shù)據(jù)中心將必須選擇至少一個存儲系統(tǒng)對其主要存儲系統(tǒng)進行補充。雖然對象存儲正在引起人們更的關(guān)注，但高性能和高性價比的NFS/SMB解決方案正在回歸。這些系統(tǒng)像對象存儲系統(tǒng)一樣向外擴展，通常具有類似的擦除編碼類型的數(shù)據(jù)保護，并支持各種協(xié)議。在某些情況下，他們可以執(zhí)行所有上述操作。

組織選擇哪種策略，將取決于他們期望管理的物聯(lián)網(wǎng)類型和大數(shù)據(jù)以及項目的范圍。另一個考慮因素是其當(dāng)前存儲資產(chǎn)的年限和適用性，以解決物聯(lián)網(wǎng)和大數(shù)據(jù)問題。如果數(shù)據(jù)中心的當(dāng)前生產(chǎn)存儲支持Tier1和Tier2應(yīng)用程序的高性能要求，則在后端添加對象存儲可能是理想的。

如果Tier1和Tier2應(yīng)用程序的性能要求稍微有些偏差，那么提供所有協(xié)議的單一存儲基礎(chǔ)設(shè)施可能會受到關(guān)注。雖然這些更通用的系統(tǒng)不能表現(xiàn)得如同集中式系統(tǒng)，但是它們通常為典型的數(shù)據(jù)中心提供足夠的性能。此外，他們提供了整合到單個存儲系統(tǒng)的好處。其結(jié)果應(yīng)當(dāng)是更低的成本，操作更為簡單性。

物聯(lián)網(wǎng)和大數(shù)據(jù)可以改變組織如何開展業(yè)務(wù)的方式。這二者的組合可以提供的洞察力使得企業(yè)能夠顯著地改進其創(chuàng)建新產(chǎn)品和響應(yīng)客戶的方式。但這些舉措對IT基礎(chǔ)設(shè)施，特別是存儲系統(tǒng)將會產(chǎn)生重大的影響。

IT專業(yè)人員需要一個大數(shù)據(jù)和物聯(lián)網(wǎng)項目的戰(zhàn)略，使存儲基礎(chǔ)設(shè)施充分發(fā)揮其潛力。而正確地選擇產(chǎn)品可以滿足挑戰(zhàn)，無論是數(shù)量龐大的文件和高容量文件，還是綜合存儲系統(tǒng)。

文章題目：大數(shù)據(jù)和物聯(lián)網(wǎng)項目帶來了獨特的存儲需求
標(biāo)題網(wǎng)址：http://muchs.cn/article6/sdgoog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、App設(shè)計、微信小程序、ChatGPT、建站公司、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)