商業(yè)智能與大數(shù)據(jù)應(yīng)用

BI商業(yè)智能與大數(shù)據(jù)應(yīng)用的區(qū)別；
BI（Business Intelligence），即商務(wù)智能，它是一套完整的解決方案，用來將企業(yè)中現(xiàn)有的數(shù)據(jù)進行有效的整合，快速準確的提供報表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策。
伴隨著BI的發(fā)展，ETL，數(shù)據(jù)集成平臺等概念相繼提出。ETL（Extraction Transformation Loading），即數(shù)據(jù)提取、轉(zhuǎn)換和加載，數(shù)據(jù)集成平臺主要功能對各種業(yè)務(wù)數(shù)據(jù)進行抽取和相關(guān)轉(zhuǎn)化，以此來滿足BI、數(shù)據(jù)倉庫對數(shù)據(jù)格式和內(nèi)容挖掘的要求。

1數(shù)據(jù)集成平臺
數(shù)據(jù)集成平臺的基礎(chǔ)工作與ETL有很大的相似性，其主要功能是實現(xiàn)不同系統(tǒng)不同格式數(shù)據(jù)地抽取，并且按照目標需求轉(zhuǎn)化成為相應(yīng)的格式。數(shù)據(jù)集成開始是點對點的，慢慢地發(fā)現(xiàn)這種模式對于系統(tǒng)之間，不同所有權(quán)的企業(yè)數(shù)據(jù)流向以及數(shù)據(jù)標準控制很難，為此，誕生了對統(tǒng)一企業(yè)數(shù)據(jù)平臺的需求，來實現(xiàn)企業(yè)級之間的數(shù)據(jù)交互。
數(shù)據(jù)集成平臺就像網(wǎng)絡(luò)中的Hub，可以連接所有應(yīng)用系統(tǒng)，實現(xiàn)系統(tǒng)之間數(shù)據(jù)的互通有無。數(shù)據(jù)集成平臺以BI、數(shù)據(jù)倉庫需求而產(chǎn)生，現(xiàn)在已經(jīng)跨越了最初的需求，上升到了一個更高的階段。
2.大數(shù)據(jù)
如今大數(shù)據(jù)應(yīng)用更多關(guān)注非結(jié)構(gòu)化數(shù)據(jù)，更多談?wù)摶ヂ?lián)網(wǎng)，Twitter、Facebook、博客等非結(jié)構(gòu)化數(shù)據(jù)，如此理解大數(shù)據(jù)應(yīng)用，顯然就有些走偏了。結(jié)構(gòu)化數(shù)據(jù)也屬于大數(shù)據(jù)，且呈現(xiàn)出相同的特點和特征，如數(shù)據(jù)量大，增長越來越快，對數(shù)據(jù)處理要求高等。結(jié)構(gòu)化數(shù)據(jù)是廣義大
數(shù)據(jù)中含金量或者價值密度高的一部分數(shù)據(jù)，與之相比，非結(jié)構(gòu)化數(shù)據(jù)含金量高但價值密度低。在Hadoop平臺出現(xiàn)之前，沒有人談?wù)摯髷?shù)據(jù)。數(shù)據(jù)應(yīng)用主要是結(jié)構(gòu)化數(shù)據(jù)，多采用IBM、HP等老牌廠商的小型機或服務(wù)器設(shè)備。
采用傳統(tǒng)方法處理這些價值密度低的非結(jié)構(gòu)化數(shù)據(jù)，被認為是不值得的，因為其產(chǎn)出實在是有限。Hadoop平臺出現(xiàn)之后，提供了一種開放的、廉價的、基于普通商業(yè)硬件的平臺，其核心是分布式大規(guī)模并行處理，從而為非結(jié)構(gòu)化數(shù)據(jù)處理創(chuàng)造條件。
大數(shù)據(jù)應(yīng)用的數(shù)據(jù)來源應(yīng)該包括結(jié)構(gòu)化數(shù)據(jù)，如各種數(shù)據(jù)庫、各種結(jié)構(gòu)化文件、消息隊列和應(yīng)用系統(tǒng)數(shù)據(jù)等，其次才是非結(jié)構(gòu)化數(shù)據(jù)，又可以進一步細分為兩部分，一是社交媒體，如Twitter、Facebook、博客等產(chǎn)生的數(shù)據(jù)，包括用戶點擊的習(xí)慣/
特點，發(fā)表的評論，評論的特點，網(wǎng)民之間的關(guān)系等，這些都構(gòu)成了大數(shù)據(jù)來源。另外一部分數(shù)據(jù)，也是數(shù)據(jù)量比較大的數(shù)據(jù)，就是機器設(shè)備以及傳感器所產(chǎn)生的數(shù)據(jù)。以電信行業(yè)為例，CDR、呼叫記錄，這些數(shù)據(jù)都屬于原始傳感器數(shù)據(jù)，主要來自路由器或者基站。此外，手機的置傳感器，各種手持設(shè)備、門禁系統(tǒng)，攝像頭、ATM機等，其數(shù)據(jù)量也非常巨大。
3.大數(shù)據(jù)分析工具
對于分析大數(shù)據(jù)的工具，目前所有的分析工具都側(cè)重于結(jié)構(gòu)化分析，例如針對社交媒體評論方向的分析，根據(jù)特定的詞頻或者語義，通過統(tǒng)計正面/負面評論的比例，來確定評論性質(zhì)。如果有一個應(yīng)用系統(tǒng)是接收結(jié)構(gòu)化數(shù)據(jù)的，例如一個分析系統(tǒng)，接收這些語義就可以便于分析。
4.大數(shù)據(jù)應(yīng)用實例
讓大數(shù)據(jù)應(yīng)用落地，其中的關(guān)鍵在于與行業(yè)應(yīng)用的深度融合。
1)公安行業(yè)
公安行業(yè)的視頻影像處理是一個特定應(yīng)用領(lǐng)域，傳統(tǒng)BI、ETL工具拿這些數(shù)據(jù)沒有辦法，采用分布式Hadoop進行處理能夠帶來很
好的效益，因為Hadoop可以處理數(shù)據(jù)量足夠大。公安行業(yè)實際上已采集了大量視頻影像數(shù)據(jù)，利用這些數(shù)據(jù)，可以追蹤一個嫌疑犯的行蹤，什么時間在全國哪些地區(qū)出現(xiàn)過。這些應(yīng)用不可能單純依靠人的力量，需要借助人臉識別、圖像識別技術(shù)、模式處理，數(shù)據(jù)壓縮等技術(shù)，需要海量處理軟件，抓出相關(guān)特征，幫助公安人員提高工作效率。
2)電信行業(yè)
在電信行業(yè)，計費系統(tǒng)實際上是對各種數(shù)據(jù)進行整合后的結(jié)果，是一個縮小的數(shù)據(jù)。借助大數(shù)據(jù)應(yīng)用，運營商可以原始大數(shù)據(jù)進行
分析，例如分析傳感器數(shù)據(jù)是否有異常，從而判斷設(shè)備異常等，這些都是一些用傳統(tǒng)BI工具無法實現(xiàn)的分析，其結(jié)果往往會出乎意料，幫助運營商提高服務(wù)水平以及用戶的滿意度。
3)互聯(lián)網(wǎng)行業(yè)
在互聯(lián)網(wǎng)行業(yè)，通過分析手機上網(wǎng)軌跡，可以分析了解客戶群，了解用戶的偏好，此外，獲取地理位置的信息，也具有特定價值。
從這些行業(yè)大數(shù)據(jù)應(yīng)用分析來看，一個是視頻影像處理，一個是日志分析，另外一個是處理特定文件格式的分析處理，彼此之間顯然沒有任何通
用性的特點，其共同點就是利用了廉價的大數(shù)據(jù)處理平臺。
大數(shù)據(jù)處理的十大工具；
大數(shù)據(jù)的日益增長,給企業(yè)管理大量的數(shù)據(jù)帶來了挑戰(zhàn)的同時也帶來了一些機遇。下面是用于信息化管理的大數(shù)據(jù)工具列表：
1.ApacheHive
Hive是一個建立在hadoop上的開源數(shù)據(jù)倉庫基礎(chǔ)設(shè)施，通過Hive可以很容易的進行數(shù)據(jù)的ETL,對數(shù)據(jù)進行結(jié)構(gòu)化處理,并對Hadoop上大數(shù)據(jù)文件
進行查詢和處理等。Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數(shù)據(jù)提供了方便。
2JaspersoftBI套件
Jaspersoft包是一個通過數(shù)據(jù)庫列生成報表的開源軟件。行業(yè)領(lǐng)導(dǎo)者發(fā)現(xiàn)Jaspersoft軟件是的,許多企業(yè)已經(jīng)使用它來將SQL表轉(zhuǎn)化為pdf,，這
使每個人都可以在會議上對其進行審議。另外，JasperReports提供了一個連接配置單元來替代HBase。
3.1010data
1010data創(chuàng)立于2000年，是一個總部設(shè)在紐約的分析型云服務(wù)，旨在為華爾街的客戶提供服務(wù)，甚至包括NYSEEuronext、游戲和電信的客戶。
它在設(shè)計上支持可伸縮性的大規(guī)模并行處理。它也有它自己的查詢語言,支持SQL函數(shù)和廣泛的查詢類型，包括圖和時間序列分析。這個私有云的方法減少了客戶在基礎(chǔ)設(shè)施管理和擴展方面的壓力。
4.Actian
Actian之前的名字叫做IngresCorp，它擁有超過一萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現(xiàn)了擴展。這些發(fā)展分別導(dǎo)致了
ActianVector和ActianMatrix的創(chuàng)建。它有Apache，Cloudera，Hortonworks以及其他發(fā)行版本可供選擇。
5.PentahoBusinessAnalytics
從某種意義上說,Pentaho與Jaspersoft相比起來,盡管Pentaho開始于報告生成引擎，但它目前通過簡化新來源中獲取信息的過程來支持大數(shù)據(jù)處
理。Pentaho的工具可以連接到NoSQL數(shù)據(jù)庫，例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一個更有趣的圖形編程界面工具)有很多內(nèi)置模塊，你可以把它們拖放到一個圖片上,然后將它們連接起來。
6.KarmasphereStudioandAnalyst
KarsmasphereStudio是一組構(gòu)建在Eclipse上的插件,它是一個更易于創(chuàng)建和運行Hadoop任務(wù)的專用IDE。在配置一個Hadoop工作時，
Karmasphere工具將引導(dǎo)您完成每個步驟并顯示部分結(jié)果。當(dāng)出現(xiàn)所有數(shù)據(jù)處于同一個Hadoop集群的情況時，KarmaspehereAnalyst旨在簡化
篩選的過程,。
7.Cloudera
Cloudera正在努力為開源Hadoop,提供支持，同時將數(shù)據(jù)處理框架延伸到一個全面的“企業(yè)數(shù)據(jù)中心”范疇,這個數(shù)據(jù)中心可以作為選目標和管
理企業(yè)所有數(shù)據(jù)的中心點。Hadoop可以作為目標數(shù)據(jù)倉庫，高效的數(shù)據(jù)平臺，或現(xiàn)有數(shù)據(jù)倉庫的ETL來源。企業(yè)規(guī)?？梢杂米骷蒆adoop與傳
統(tǒng)數(shù)據(jù)倉庫的基礎(chǔ)。Cloudera致力于成為數(shù)據(jù)管理的“重心”。
8.HPVerticaAnalyticsPlatformVersion7
HP提供了用于加載Hadoop軟件發(fā)行版所需的參考硬件配置,因為它本身并沒有自己的Hadoop版本。計算機行業(yè)領(lǐng)袖將其大數(shù)據(jù)平臺架構(gòu)命名為
HAVEn(意為Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)?；萜赵赩ertica7版本中增加了一個“FlexZone”，允許用
戶在定義數(shù)據(jù)庫方案以及相關(guān)分析、報告之前探索大型數(shù)據(jù)集中的數(shù)據(jù)。這個版本通過使用HCatalog作為元數(shù)據(jù)存儲，與Hadoop集成后為用戶
提供了一種探索HDFS數(shù)據(jù)表格視圖的方法。
9.TalendOpenStudio
Talend’s工具用于協(xié)助進行數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成和數(shù)據(jù)管理等方面工作。Talend是一個統(tǒng)一的平臺，它通過提供一個統(tǒng)一的，跨企業(yè)邊界生命周
期管理的環(huán)境，使數(shù)據(jù)管理和應(yīng)用更簡單便捷。這種設(shè)計可以幫助企業(yè)構(gòu)建靈活、高性能的企業(yè)架構(gòu),在次架構(gòu)下，集成并啟用百分之百開源服務(wù)的分布式應(yīng)用程序變?yōu)榭赡堋?br/>10.ApacheSpark
ApacheSpark是Hadoop開源生態(tài)系統(tǒng)的新成員。它提供了一個比Hive更快的查詢引擎，因為它依賴于自己的數(shù)據(jù)處理框架而不是依靠Hadoop的
HDFS服務(wù)。同時，它還用于事件流處理、實時查詢和機器學(xué)習(xí)等方面。

名稱欄目：商業(yè)智能與大數(shù)據(jù)應(yīng)用
標題鏈接：http://muchs.cn/news7/127107.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、動態(tài)網(wǎng)站、網(wǎng)站排名、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站營銷、營銷型網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)