Hadoop技術(shù)在商業(yè)智能BI中的應(yīng)用分析-創(chuàng)新互聯(lián)

本篇內(nèi)容主要講解“Hadoop技術(shù)在商業(yè)智能BI中的應(yīng)用分析”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“Hadoop技術(shù)在商業(yè)智能BI中的應(yīng)用分析”吧!

成都創(chuàng)新互聯(lián)專(zhuān)業(yè)為企業(yè)提供環(huán)江網(wǎng)站建設(shè)、環(huán)江做網(wǎng)站、環(huán)江網(wǎng)站設(shè)計(jì)、環(huán)江網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、環(huán)江企業(yè)網(wǎng)站模板建站服務(wù)，十余年環(huán)江做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

Hadoop是個(gè)很流行的分布式計(jì)算解決方案，是Apache的一個(gè)開(kāi)源項(xiàng)目名稱，核心部分包括HDFS及MapReduce。其中，HDFS是分布式文件系統(tǒng)，MapReduce是分布式計(jì)算引擎。時(shí)至今日，Hadoop在技術(shù)上已經(jīng)得到驗(yàn)證、認(rèn)可甚至到了成熟期，同時(shí)也衍生出了一個(gè)龐大的生態(tài)圈，比較知名的包括HBase、Hive、Spark等。HBase是基于HDFS的分布式列式數(shù)據(jù)庫(kù)，HIVE是一個(gè)基于HBase數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。Impala為存儲(chǔ)在HDFS和HBase中的數(shù)據(jù)提供了實(shí)時(shí)SQL查詢功能，基于HIVE服務(wù)，并可共享HIVE的元數(shù)據(jù)。Spark是一個(gè)類(lèi)似MapReduce的并行計(jì)算框架，也提供了類(lèi)似的HIVE的Spark SQL查詢接口，Hive是基于hadoop的數(shù)據(jù)分析工具。

很多企業(yè)比如銀行流水作業(yè)很多，數(shù)據(jù)都是實(shí)時(shí)更新且數(shù)據(jù)量很大。會(huì)采用hadoop作為底層數(shù)據(jù)庫(kù)，借由中間商處理底層數(shù)據(jù)，然后通過(guò)BI系統(tǒng)去連接這些中間數(shù)據(jù)處理廠商的中間表，接入處理數(shù)據(jù)，尤其以星環(huán)、華為這類(lèi)hadoop大數(shù)據(jù)平臺(tái)商居多，使用也較為廣泛。

這里以星環(huán)大數(shù)據(jù)平臺(tái)與帆軟大數(shù)據(jù)BI工具FineBI的結(jié)合應(yīng)用來(lái)簡(jiǎn)單介紹下。

由于星環(huán)也是處理hadoop下的hive數(shù)據(jù)庫(kù)，其本質(zhì)都是差不多的，可以使用Hive提供的jdbc驅(qū)動(dòng)，這個(gè)驅(qū)動(dòng)同樣可以讓FineBI連接星環(huán)的數(shù)據(jù)庫(kù)并進(jìn)行一些類(lèi)關(guān)系型數(shù)據(jù)庫(kù)的sql語(yǔ)句查詢等操作，部分特殊sql的公式需要與星環(huán)人員確認(rèn)是否可以使用。

首先將這些驅(qū)動(dòng)拷貝到報(bào)表工程下面，然后重啟BI服務(wù)器。重啟后可以建立與星環(huán)數(shù)據(jù)庫(kù)的數(shù)據(jù)連接，最后通過(guò)連接進(jìn)行數(shù)據(jù)查詢。

1、本地部署

下圖是FineBI內(nèi)部測(cè)試用的hadoop的jar包（將以下jar包放置于webinf-lib文件夾下），親測(cè)，可連接成功，如下圖所示：

2、數(shù)據(jù)連接

數(shù)據(jù)連接如下圖所示：

測(cè)試連接成功之后，點(diǎn)擊確定，可直接選擇數(shù)據(jù)庫(kù)中對(duì)應(yīng)的表加入業(yè)務(wù)包中，類(lèi)似于Mysql這些最常見(jiàn)的數(shù)據(jù)庫(kù)取表方式。

3、實(shí)際分析案例

某銀行的總行層面-機(jī)構(gòu)維度-四象限圖

（2）總行層面-機(jī)構(gòu)維度-趨勢(shì)分析

（3）總行層面-產(chǎn)品維度-盈利產(chǎn)品

4．關(guān)于FineBI的FineIndex和FineDirect功能

hadoop是底層，hive是數(shù)據(jù)庫(kù)，上述案例采用的是FineIndex（cube連）連接，用的是hiveserver的方式進(jìn)行數(shù)據(jù)連接的；數(shù)據(jù)連接成功之后，將hive數(shù)據(jù)庫(kù)中的表添加到業(yè)務(wù)包中，也就是將庫(kù)中數(shù)據(jù)拿到我們的多維數(shù)據(jù)庫(kù)（FineIndex），當(dāng)然抓取的過(guò)程中也可以讀取數(shù)據(jù)庫(kù)關(guān)聯(lián)和轉(zhuǎn)義，也可以手動(dòng)轉(zhuǎn)義和進(jìn)行關(guān)聯(lián)，同時(shí)也可以做一些etl操作如新增公式列/行列轉(zhuǎn)換/join/union/過(guò)濾/分組統(tǒng)計(jì)/自循環(huán)列/新增分組列/使用部分字段等，做過(guò)處理的這些數(shù)據(jù)表用于前端分析。

也就是說(shuō)數(shù)據(jù)庫(kù)-FineIndex-前端分析，這里的FineIndex相當(dāng)于一個(gè)中間庫(kù)的形式，用來(lái)存儲(chǔ)數(shù)據(jù)表，關(guān)聯(lián)轉(zhuǎn)義索引等。這些都對(duì)后續(xù)前臺(tái)分析處理數(shù)據(jù)效率有很大的提升（因?yàn)橹苯觭ql取數(shù)，效率受數(shù)據(jù)庫(kù)本身的限制，數(shù)據(jù)量大時(shí)，一般分析工具很容易就卡死升職內(nèi)存溢出導(dǎo)致系統(tǒng)無(wú)響應(yīng)），這也是FineIndex方案的初衷。FineIndex存在有兩個(gè)意義，一個(gè)是提升效率，一個(gè)就是對(duì)數(shù)據(jù)進(jìn)行二次整合處理。

FineBI還有一個(gè)連接方式FineDirect（數(shù)據(jù)庫(kù)直連），主要是應(yīng)對(duì)如下需求：

• 分析結(jié)果的實(shí)時(shí)性

企業(yè)用戶在使用BI工具的時(shí)候，多數(shù)情況下是對(duì)大量的歷史數(shù)據(jù)進(jìn)行OLAP分析，但是也有部分用戶需要展現(xiàn)結(jié)果的實(shí)時(shí)性。例如金融行業(yè)對(duì)于交易風(fēng)險(xiǎn)的分析，是對(duì)每一筆流水實(shí)時(shí)進(jìn)行分析的，如果需要經(jīng)過(guò)構(gòu)建多維數(shù)據(jù)庫(kù)的過(guò)程，數(shù)據(jù)到來(lái)就會(huì)有延遲，影響分析結(jié)果的準(zhǔn)確性。但是因?yàn)橛?jì)算的過(guò)程交給了數(shù)據(jù)庫(kù)，響應(yīng)速度更多的取決于數(shù)據(jù)庫(kù)的性能。

• 大數(shù)據(jù)平臺(tái)的充分利用

隨著各種分布式計(jì)算方案的不斷優(yōu)化，數(shù)據(jù)的計(jì)算性能也有了快速的發(fā)展，計(jì)算能力有了顯著的提高，不少企業(yè)已經(jīng)有了自己的大數(shù)據(jù)計(jì)算平臺(tái)，例如hadoop，kylin，greenplum，vertica等，這些平臺(tái)的對(duì)于大數(shù)據(jù)量的處理性能已經(jīng)足以滿足使用需求，不再有建模的需求，因此FineBI直連引擎提供了對(duì)接這些數(shù)據(jù)平臺(tái)的功能。

到此，相信大家對(duì)“Hadoop技術(shù)在商業(yè)智能BI中的應(yīng)用分析”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

新聞標(biāo)題：Hadoop技術(shù)在商業(yè)智能BI中的應(yīng)用分析-創(chuàng)新互聯(lián)
轉(zhuǎn)載來(lái)源：http://muchs.cn/article2/dshioc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、響應(yīng)式網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作、網(wǎng)站設(shè)計(jì)公司、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)