目前五種主流大數(shù)據(jù)架構(gòu)簡(jiǎn)介

問(wèn)題導(dǎo)讀

1.本文認(rèn)為有哪5種大數(shù)據(jù)主流架構(gòu)？

2.傳統(tǒng)大數(shù)據(jù)架構(gòu)是什么架構(gòu)？

3.Lambda 架構(gòu)包含哪些內(nèi)容？

之所以叫傳統(tǒng)大數(shù)據(jù)架構(gòu)，是因?yàn)槠涠ㄎ皇菫榱私鉀Q傳統(tǒng)BI的問(wèn)題。簡(jiǎn)單來(lái)說(shuō)，數(shù)據(jù)分析的業(yè)務(wù)沒(méi)有發(fā)生任何變化，但是因?yàn)閿?shù)據(jù)量、性能等問(wèn)題導(dǎo)致系統(tǒng)無(wú)法正常使用，需要進(jìn)行升級(jí)改造，那么此類(lèi)架構(gòu)便是為了解決這個(gè)問(wèn)題?？梢钥吹?，其依然保留了ETL的動(dòng)作，將數(shù)據(jù)經(jīng)過(guò)ETL動(dòng)作進(jìn)入數(shù)據(jù)存儲(chǔ)。

優(yōu)點(diǎn)：簡(jiǎn)單、易懂，對(duì)于BI系統(tǒng)來(lái)說(shuō)，基本思想沒(méi)有發(fā)生變化，變化的僅僅是技術(shù)選型，用大數(shù)據(jù)架構(gòu)替換掉BI的組件。

缺點(diǎn)：對(duì)于大數(shù)據(jù)來(lái)說(shuō)，沒(méi)有BI下如此完備的Cube架構(gòu)，雖然目前有Kylin，但是Lylin的局限性非常明顯，遠(yuǎn)遠(yuǎn)沒(méi)有BI下Cube的靈活度和穩(wěn)定度，因此對(duì)業(yè)務(wù)支撐的靈活度不夠，所以對(duì)于存在大量報(bào)表或復(fù)雜鉆取的場(chǎng)景，需要太多的手工定制化，同時(shí)該架構(gòu)依舊以批處理為主，缺乏實(shí)時(shí)的支撐。

適用場(chǎng)景：數(shù)據(jù)分析需求依舊以BI場(chǎng)景為主，但是因?yàn)閿?shù)據(jù)量、性能等問(wèn)題無(wú)法滿(mǎn)足日常使用。

在傳統(tǒng)大數(shù)據(jù)架構(gòu)的基礎(chǔ)上，流式架構(gòu)非常激進(jìn)，直接拔掉了批處理，數(shù)據(jù)全程以流的形式處理，所以在數(shù)據(jù)接入端沒(méi)有了ETL，轉(zhuǎn)而替換為數(shù)據(jù)通道。經(jīng)過(guò)流處理加工后的數(shù)據(jù)，以消息的形式直接推送給了消費(fèi)者。雖然有一個(gè)存儲(chǔ)部分，但是該存儲(chǔ)更多以窗口的形式進(jìn)行存儲(chǔ)，所以該存儲(chǔ)并非發(fā)生在數(shù)據(jù)湖，而是在外圍系統(tǒng)。

優(yōu)點(diǎn)：沒(méi)有臃腫的ETL過(guò)程，數(shù)據(jù)的實(shí)效性非常高。

缺點(diǎn)：對(duì)于流式架構(gòu)來(lái)說(shuō)，不存在批處理，因此對(duì)于數(shù)據(jù)的重播和歷史統(tǒng)計(jì)無(wú)法很好的支撐。對(duì)于離線分析僅僅支撐窗口之內(nèi)的分析。

適用場(chǎng)景：預(yù)警、監(jiān)控、對(duì)數(shù)據(jù)有有效期要求的情況。

Lambda架構(gòu)算是大數(shù)據(jù)系統(tǒng)里面舉足輕重的架構(gòu)，大多數(shù)架構(gòu)基本都是Lambda架構(gòu)或者基于其變種的架構(gòu)。

Lambda的數(shù)據(jù)通道分為兩條分支：實(shí)時(shí)流和離線。實(shí)時(shí)流依照流式架構(gòu)，保障了其實(shí)時(shí)性，而離線則以批處理方式為主，保障了最終一致性。

什么意思呢？流式通道處理為保障實(shí)效性更多的以增量計(jì)算為主輔助參考，而批處理層則對(duì)數(shù)據(jù)進(jìn)行全量運(yùn)算，保障其最終的一致性。因此，Lambda最外層有一個(gè)實(shí)時(shí)層和離線層合并的動(dòng)作，此動(dòng)作是Lambda里非常重要的一個(gè)動(dòng)作，大概的合并思路如下：

優(yōu)點(diǎn)：既有實(shí)時(shí)又有離線，對(duì)于數(shù)據(jù)分析場(chǎng)景涵蓋的非常到位。

缺點(diǎn)：離線層和實(shí)時(shí)流雖然面臨的場(chǎng)景不相同，但是其內(nèi)部處理的邏輯卻是相同，因此有大量冗余和重復(fù)的模塊存在。

適用場(chǎng)景：同時(shí)存在實(shí)時(shí)和離線需求的情況。

Kappa架構(gòu)在Lambda的基礎(chǔ)上進(jìn)行了優(yōu)化，將實(shí)時(shí)和流部分進(jìn)行了合并，將數(shù)據(jù)通道以消息隊(duì)列進(jìn)行替代。因此對(duì)于Kappa架構(gòu)來(lái)說(shuō)，依舊以流處理為主，但是數(shù)據(jù)卻在數(shù)據(jù)湖層面進(jìn)行了存儲(chǔ)，當(dāng)需要進(jìn)行離線分析或者再次計(jì)算的時(shí)候，則將數(shù)據(jù)湖的數(shù)據(jù)再次經(jīng)過(guò)消息隊(duì)列重播一次則可。

優(yōu)點(diǎn)：Kappa架構(gòu)解決了Lambda架構(gòu)里面的冗余部分，以數(shù)據(jù)可重播的超凡脫俗的思想進(jìn)行了設(shè)計(jì)，整個(gè)架構(gòu)非常簡(jiǎn)潔。

缺點(diǎn)：雖然Kappa架構(gòu)看起來(lái)簡(jiǎn)潔，但是施難度相對(duì)較高，尤其是對(duì)于數(shù)據(jù)重播部分。

適用場(chǎng)景：和Lambda類(lèi)似，該架構(gòu)是針對(duì)Lambda的優(yōu)化。

以上的種種架構(gòu)都圍繞海量數(shù)據(jù)處理為主，Unifield架構(gòu)則更激進(jìn)，將機(jī)器學(xué)習(xí)和數(shù)據(jù)處理揉為一體，從核心上來(lái)說(shuō)，Unifield依舊以Lambda為主，不過(guò)對(duì)其進(jìn)行了改造，在流處理層新增了機(jī)器學(xué)習(xí)層?？梢钥吹綌?shù)據(jù)在經(jīng)過(guò)數(shù)據(jù)通道進(jìn)入數(shù)據(jù)湖后，新增了模型訓(xùn)練部分，并且將其在流式層進(jìn)行使用。同時(shí)流式層不單使用模型，也包含著對(duì)模型的持續(xù)訓(xùn)練。

優(yōu)點(diǎn)：Unifield架構(gòu)提供了一套數(shù)據(jù)分析和機(jī)器學(xué)習(xí)結(jié)合的架構(gòu)方案，非常好的解決了機(jī)器學(xué)習(xí)如何與數(shù)據(jù)平臺(tái)進(jìn)行結(jié)合的問(wèn)題。

缺點(diǎn)：Unifield架構(gòu)實(shí)施復(fù)雜度更高，對(duì)于機(jī)器學(xué)習(xí)架構(gòu)來(lái)說(shuō)，從軟件包到硬件部署都和數(shù)據(jù)分析平臺(tái)有著非常大的差別，因此在實(shí)施過(guò)程中的難度系數(shù)更高。

適用場(chǎng)景：有著大量數(shù)據(jù)需要分析，同時(shí)對(duì)機(jī)器學(xué)習(xí)方便又有著非常大的需求或者有規(guī)劃的情況。

總結(jié)

以上為目前數(shù)據(jù)處理領(lǐng)域使用較多的幾種架構(gòu)，當(dāng)然還有非常多其他架構(gòu)，不過(guò)其思想都會(huì)或多或少的類(lèi)似。數(shù)據(jù)領(lǐng)域和機(jī)器學(xué)習(xí)領(lǐng)域會(huì)持續(xù)發(fā)展，以上幾種思想或許終究會(huì)變得過(guò)時(shí)，我們只能與時(shí)俱進(jìn)，不斷更新自己的知識(shí)庫(kù)。

---

每日一篇大數(shù)據(jù)優(yōu)秀文章，助力大數(shù)據(jù)開(kāi)發(fā)者成長(zhǎng)！

本文題目：目前五種主流大數(shù)據(jù)架構(gòu)簡(jiǎn)介
當(dāng)前地址：http://www.muchs.cn/news/104344.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營(yíng)銷(xiāo)推廣、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作、商城網(wǎng)站、自適應(yīng)網(wǎng)站、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)