數(shù)據(jù)湖里沒有“水怪”，有的是，，，

一般情況下，要使大數(shù)據(jù)項目成功，至少需要兩件事：其一，知道需要什么可操作的數(shù)據(jù);其二，獲得正確的數(shù)據(jù)來進行分析和利用，以實現(xiàn)預(yù)期目標。

6. 節(jié)約企業(yè)數(shù)據(jù)倉庫資源

最后一個優(yōu)點是，正如上面來自PwC的說明所示，數(shù)據(jù)湖可以作為數(shù)據(jù)倉庫(EDW)的中轉(zhuǎn)區(qū)域。

然后，它僅用于將相關(guān)數(shù)據(jù)傳遞到倉庫，從而節(jié)省EDW資源。

數(shù)據(jù)湖的挑戰(zhàn)、風(fēng)險和演變

大數(shù)據(jù)湖有諸多的好處，同時，也有風(fēng)險和挑戰(zhàn)需應(yīng)對。

如果沒有正確的戰(zhàn)略設(shè)計，并考慮到必要的目標，數(shù)據(jù)湖可能成為數(shù)據(jù)沼澤。這也是為什么企業(yè)從非常傳統(tǒng)的數(shù)據(jù)湖方法轉(zhuǎn)向面向目標和業(yè)務(wù)導(dǎo)向的方法的原因。

顯然，應(yīng)該從業(yè)務(wù)驅(qū)動和戰(zhàn)略方針著手來處理數(shù)據(jù)湖。然而，傳統(tǒng)上，這些數(shù)據(jù)往往是從不斷上升的數(shù)據(jù)量角度和最終所有數(shù)據(jù)都具有潛在價值的觀點來看待的。

雖然這個價值確實是有潛力的，但相當(dāng)多的公司表現(xiàn)得像數(shù)據(jù)囤積者。此外，公司是否需要一個數(shù)據(jù)湖，如果需要，是否可以從數(shù)據(jù)湖中獲得價值。

Gartner2015年的一份報告中顯示，一些公司的Hadoop((數(shù)據(jù)湖架構(gòu)的者)是過猶不及的，技術(shù)上的差距是阻礙發(fā)展的主要原因。

大數(shù)據(jù)湖的規(guī)模

由于大數(shù)據(jù)量和大數(shù)據(jù)使用量不斷增長，大數(shù)據(jù)規(guī)劃的廣度、深度和包容性都在增加，因此數(shù)據(jù)湖的大小顯然也在不斷增長。

一篇Dimensional Research2018年大數(shù)據(jù)趨勢和挑戰(zhàn)報告的博客文章指出，平均數(shù)據(jù)湖大小超過100太字節(jié)的組織比例從2017年的36%增長到2018年的44%( 一年內(nèi)增加22%)。這種趨勢只會持續(xù)下去，而且是大數(shù)據(jù)處理向云轉(zhuǎn)變的眾多驅(qū)動因素之一。

然而，難題依然存在：如何從所有這些數(shù)據(jù)中獲取價值。決策和行動是市場如何發(fā)展的關(guān)鍵驅(qū)動力。

確保數(shù)據(jù)湖不會變成數(shù)據(jù)沼澤

讓我們更深入地研究這些數(shù)據(jù)沼澤。如前所述，在數(shù)據(jù)湖的早期，重點是大數(shù)據(jù)的容量方面，許多企業(yè)實際上使用數(shù)據(jù)湖作為轉(zhuǎn)儲數(shù)據(jù)的地方。

這導(dǎo)致了數(shù)據(jù)沼澤的現(xiàn)象，需采取適當(dāng)?shù)姆椒ū３謹?shù)據(jù)湖的清潔。

直到今天，仍然聽到一些組織提出常規(guī)性的問題，比如：“我應(yīng)該用一個數(shù)據(jù)湖來替換我的數(shù)據(jù)中心嗎?”。數(shù)據(jù)湖經(jīng)常與數(shù)據(jù)中心相比較，雖然理解這些差異很重要，但問題是使用什么，什么時候使用并不是重點，正如咨詢師所言，你真正需要的是什么，要視情況而定。

我們的旨在通過數(shù)據(jù)倉庫、數(shù)據(jù)分析和商業(yè)智能環(huán)境來解決它們所適應(yīng)的商業(yè)智能環(huán)境的問題。

• 數(shù)據(jù)可實現(xiàn)什么;
• 如何從這些數(shù)據(jù)中獲得更多的價值;
• 通過高級分析將數(shù)據(jù)貨幣化的用例有哪些;
• 我們需要什么技能;
• 我們的業(yè)務(wù)是如何由數(shù)據(jù)驅(qū)動的;
• 我們今天的處境(包括技能和文化)
• 在法規(guī)范圍內(nèi)，我們需要考慮到哪些有關(guān)敏感數(shù)據(jù)的問題;
• 。。。

當(dāng)數(shù)據(jù)湖的數(shù)據(jù)情況變得清晰無誤時，就不難確保它不會變成一個數(shù)據(jù)沼澤。這種討論已經(jīng)進行了很長時間，數(shù)據(jù)湖需要更多的策略和關(guān)注。

改變數(shù)據(jù)湖的要素：云、分析、價值和AI/ML

當(dāng)然，數(shù)據(jù)湖也不像以前所觸及的那樣了。在早期，數(shù)據(jù)湖本質(zhì)上是添加Hadoop，并保留所有現(xiàn)有的內(nèi)容，而現(xiàn)在，我們可以更多地使用云中的數(shù)據(jù)。

最初，一個數(shù)據(jù)湖是給那些有技能和能力的用戶使用：找到他們想要的數(shù)據(jù)，然后能夠使用模式在讀技術(shù)來處理這個問題。幸運的是，SQL正在進入數(shù)據(jù)湖，我們開始學(xué)習(xí)如何對其中的不同島嶼建模，讓用戶直接訪問數(shù)據(jù)湖中的數(shù)據(jù)。

云的增長速度和它在業(yè)務(wù)中總體增長速度一樣快。很明顯，數(shù)據(jù)湖的未來意味著云，盡管某些行業(yè)也會有例外，其中包括監(jiān)管問題，以及傳統(tǒng)上對公眾云采取更為謹慎的做法。
一些企業(yè)顯然也從過去所犯的錯誤中吸取了教訓(xùn)，最后，隨著人工智能和機器學(xué)習(xí)變得更加重要，重點更多的放在結(jié)果和價值上，以及對近實時分析、高級分析和可視化的需求，人們更加關(guān)注結(jié)果和價值。

我們還看到數(shù)據(jù)湖向商業(yè)智能解決方案轉(zhuǎn)變。簡單地總結(jié)一下：數(shù)據(jù)湖景觀發(fā)展迅速，其本質(zhì)仍然是將數(shù)據(jù)轉(zhuǎn)化為價值和更好地實現(xiàn)這一目標的手段，技術(shù)前沿的大量趨勢和經(jīng)驗教訓(xùn)，使得我們很難將數(shù)據(jù)湖的過去與現(xiàn)在進行比較，更不用說未來了。許多組織表示，它們計劃部署一個數(shù)據(jù)湖，并轉(zhuǎn)向云，這一未來看上去相當(dāng)光明。

要知道，當(dāng)數(shù)據(jù)湖變得流行時，大數(shù)據(jù)仍然是一個熱門詞，至少大數(shù)據(jù)已經(jīng)變得無所不在了。大數(shù)據(jù)就是數(shù)據(jù)，問題是如何處理它。總的來說，數(shù)據(jù)的成熟度已經(jīng)提高，新一代的專家知道，大數(shù)據(jù)分析是獲得價值的關(guān)鍵所在，你對待數(shù)據(jù)的方式與傳統(tǒng)數(shù)據(jù)倉庫時代不同-關(guān)于利用大數(shù)據(jù)的思維方式和文化已經(jīng)在醞釀。

新聞標題：數(shù)據(jù)湖里沒有“水怪”，有的是，，，
文章URL：http://www.muchs.cn/news/104562.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計、軟件開發(fā)、建站公司、響應(yīng)式網(wǎng)站、定制開發(fā)、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)