大數(shù)據(jù)的未來何去何從？

大概在 2005 年前后，Hadoop 誕生后，標(biāo)志著人類正式進(jìn)入大數(shù)據(jù)時代。

創(chuàng)新互聯(lián)建站從2013年創(chuàng)立，先為柘城等服務(wù)建站，柘城等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為柘城企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

其實(shí)，" 大數(shù)據(jù) " 概念第一次被提出，可以追溯到 1998 年，一家美國高性能計算公司的科學(xué)家，在一次國際會議報告中，用 "Big Data" ( 大數(shù)據(jù) ) 來描述數(shù)據(jù)量增長帶來的挑戰(zhàn)。

到了 2013 年，開始有越來越多的企業(yè)看到大數(shù)據(jù)的價值，發(fā)現(xiàn)大數(shù)據(jù)能夠?yàn)槠髽I(yè)業(yè)務(wù)賦能，通過對海量數(shù)據(jù)量的有效存儲、管理和分析，可以獲得更實(shí)時的市場洞察力。并且，人們還發(fā)現(xiàn)，大數(shù)據(jù)不是一個單一的技術(shù)，而是一系列數(shù)據(jù)管理技術(shù)的集合體，它對整個社會及人類帶來的影響，將有別于以往任何技術(shù)變革。

那么，十幾年時間過去了，今天的大數(shù)據(jù)發(fā)展到何種狀態(tài)？我們需要做些什么，才能讓大數(shù)據(jù)應(yīng)用變得更加成熟？

從各種應(yīng)用分析和調(diào)查來看，雖然企業(yè)的數(shù)據(jù)量呈爆發(fā)趨勢增長，也更重視信息的來源和使用價值，但在實(shí)際的商業(yè)價值推動上，并沒有帶來顯著成果。雖然大數(shù)據(jù)概念炒得很火熱，但應(yīng)用上仍停留在如何將正確的信息在正確的時間發(fā)送給正確的人。

數(shù)據(jù)倉庫 vs 數(shù)據(jù)湖 vs 數(shù)據(jù)管理架構(gòu)

為了收集、獲取海量數(shù)據(jù)，各種數(shù)據(jù)存儲和管理系統(tǒng)如雨后春筍般誕生，包括數(shù)據(jù)倉庫、數(shù)據(jù)湖和數(shù)據(jù)管理架構(gòu)等，開始加快走向企業(yè)應(yīng)用場景中。

只是，當(dāng)企業(yè)的解決方案以及平臺架構(gòu)開始增多，業(yè)務(wù)的復(fù)雜性也隨之增加，企業(yè)需要一個標(biāo)準(zhǔn)的數(shù)據(jù)管理架構(gòu)，去整合所有的數(shù)據(jù)以及多樣的應(yīng)用工具，包括能實(shí)現(xiàn)跨環(huán)境以及混合應(yīng)用的管理。以往集中式架構(gòu)，已經(jīng)不能滿足企業(yè)的業(yè)務(wù)需求了?；蛘哒f，企業(yè)需要更強(qiáng)大的數(shù)據(jù)分析能力，能對不同的數(shù)據(jù)源進(jìn)行訪問。這也是以 Data Fabric 為核心的數(shù)據(jù)管理架構(gòu)，變得越來越流行的最根本原因。

理論上講，企業(yè)需要一個核心數(shù)據(jù)庫，能確保所有的數(shù)據(jù)都是最新、易管理，并且是干凈數(shù)據(jù)；但之前的數(shù)據(jù)架構(gòu)模式不可能實(shí)現(xiàn)，而 Data Fabric 則能幫助企業(yè)實(shí)現(xiàn)不同數(shù)據(jù)的管理，并且能把各種數(shù)據(jù)之間的關(guān)系關(guān)聯(lián)起來，而不是將所有的數(shù)據(jù)傾倒在一個數(shù)據(jù)湖中。

所以，在數(shù)據(jù)的整個治理過程中，所有相關(guān)的應(yīng)用都很重要。比如：我們可以通過數(shù)據(jù)倉庫實(shí)現(xiàn)高性能、可重復(fù)的分析；而數(shù)據(jù)湖可以存儲用于開發(fā)和測試的數(shù)據(jù)；Data Mesh 這種基于領(lǐng)域驅(qū)動和自服務(wù)的數(shù)據(jù)架構(gòu)設(shè)計模式，可以用來管理分布式數(shù)據(jù)，因?yàn)樵摲?wù)本身借鑒了微服務(wù)和 Service Mesh 分布式架構(gòu)思想。提到 Data Mesh，有人可能要問 Data Mesh 和 Data Fabric 是什么關(guān)系？其實(shí)，Data Mesh 和 Data Fabric 在概念上都差不多，都是一種新型的數(shù)據(jù)管理架構(gòu)，都致力于讓數(shù)據(jù)互聯(lián)互通。

一站式大數(shù)據(jù)平臺構(gòu)建

當(dāng)企業(yè)業(yè)務(wù)上升到一定量，構(gòu)建大數(shù)據(jù)平臺成為必須品。問題是，大數(shù)據(jù)平臺如何構(gòu)建？不同企業(yè)有不同選擇！

有專家建議，最好采用兩種策略構(gòu)建企業(yè)大數(shù)據(jù)平臺，即一個用于生產(chǎn)，另一個用于分析。但筆者認(rèn)為，基于一個標(biāo)準(zhǔn)的數(shù)據(jù)架構(gòu)構(gòu)建大數(shù)據(jù)平臺，更有利于數(shù)據(jù)管理。如果每個業(yè)務(wù)部門都建自己的平臺，需要支持多個數(shù)據(jù)庫，還得需要一個 ETL 平臺完成數(shù)據(jù)之間的轉(zhuǎn)換。這時，數(shù)據(jù)的真實(shí)性、實(shí)時性都會出現(xiàn)挑戰(zhàn)。構(gòu)建大數(shù)據(jù)平臺，最終的目標(biāo)是為了整合數(shù)據(jù)，讓所有的數(shù)據(jù)實(shí)現(xiàn)可視化管理，并且無論數(shù)據(jù)在企業(yè)內(nèi)部還是云端，都能實(shí)現(xiàn)統(tǒng)一管理。多一個數(shù)據(jù)平臺，就意味著企業(yè)在進(jìn)行數(shù)據(jù)整合時，會增加額外的成本，并且容易出現(xiàn)數(shù)據(jù)安全隱患。

當(dāng)然，構(gòu)建一個能覆蓋所有環(huán)境的大數(shù)據(jù)平臺，也不是一件容易的事。大多數(shù)時候，一個供應(yīng)商的解決方案也沒那么全面，比如：有的提供了查詢功能，但治理方面差了一些；有的雖然解決了大數(shù)據(jù)的規(guī)?；幚?，但后期的數(shù)據(jù)遷移成為一大挑戰(zhàn)。所以，企業(yè)擁有多個企業(yè)提供的數(shù)據(jù)管理解決方案，可能是一種常態(tài)。

如果企業(yè)選型選對，基于標(biāo)準(zhǔn)的數(shù)據(jù)架構(gòu)來打造打造大數(shù)據(jù)平臺，那意味企業(yè)擁有了先天的一站式大數(shù)據(jù)平臺管理能力，后期可以通過各種工具和手段進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化管理。

比如：基于 Data Fabric，企業(yè)從設(shè)計之初開始，就擁有了一個可靈活擴(kuò)展、多次復(fù)用和持續(xù)優(yōu)化的數(shù)據(jù)管道，技術(shù)開發(fā)人員可以根據(jù)服務(wù)和語義，支持復(fù)雜環(huán)境部署，通過資源的靈活調(diào)度，交付各種應(yīng)用。

本文標(biāo)題：大數(shù)據(jù)的未來何去何從？
文章分享：http://muchs.cn/article26/soedcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計公司、網(wǎng)站收錄、手機(jī)網(wǎng)站建設(shè)、動態(tài)網(wǎng)站、網(wǎng)站制作、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)