大數(shù)據(jù)時(shí)代企業(yè)CDO的新玩兒法

互聯(lián)網(wǎng)IDC圈12月8日?qǐng)?bào)道：我們正在歷經(jīng)一場(chǎng)由大數(shù)據(jù)應(yīng)用的普及引發(fā)的變革，即使如藍(lán)色巨人IBM這樣的傳統(tǒng)巨頭也在通過及時(shí)轉(zhuǎn)型來應(yīng)對(duì)這場(chǎng)技術(shù)浪潮的席卷。IBM認(rèn)為，大數(shù)據(jù)與工業(yè)時(shí)代的蒸汽、電力、石油一樣，都是重要的未來資源，企業(yè)需要專業(yè)人才掌握并利用這種資源，來推動(dòng)這個(gè)時(shí)代的進(jìn)步和發(fā)展，就好像當(dāng)時(shí)有人利用石油和電力推動(dòng)工業(yè)時(shí)代進(jìn)步一樣。

創(chuàng)新互聯(lián)成立與2013年，先為普蘭等服務(wù)建站，普蘭等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為普蘭企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

這時(shí)，企業(yè)CDO（首席數(shù)據(jù)官）責(zé)無旁貸地將挑起這個(gè)重任。CDO所關(guān)注的已經(jīng)不止于企業(yè)數(shù)據(jù)庫(kù)、數(shù)據(jù)工具和數(shù)據(jù)分析工具的選型，而是如何利用這些工具對(duì)企業(yè)內(nèi)部、外部行業(yè)數(shù)據(jù)進(jìn)行分析，并根據(jù)分析結(jié)果為企業(yè)日常運(yùn)營(yíng)和未來發(fā)展提供戰(zhàn)略性指導(dǎo)，成為企企業(yè)未來發(fā)展方向的參謀官。因此可以捕獲、管理和分析大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的工具對(duì)于企業(yè)和CDO來說，就是從眾多競(jìng)爭(zhēng)者中脫穎而出的利刃。

如何幫助企業(yè)和CDO找到更專業(yè)的數(shù)據(jù)處理和分析服務(wù)，以及如何利用IBM數(shù)據(jù)分析工具PDA與開源技術(shù)的結(jié)合，提高數(shù)據(jù)存儲(chǔ)、整合與治理以及最終的分析的能力，來定義大數(shù)據(jù)時(shí)代行業(yè)數(shù)據(jù)的新玩兒法。

PDA（Power Data System for Analytics）是IBM針對(duì)大數(shù)據(jù)倉(cāng)庫(kù)推出的一體機(jī)，具于快速、簡(jiǎn)單、可擴(kuò)展和智能等特點(diǎn)。其專門用于在數(shù)據(jù)倉(cāng)庫(kù)和OLAP系統(tǒng)中處理結(jié)構(gòu)化數(shù)據(jù)，來解決企業(yè)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)架構(gòu)復(fù)雜、維護(hù)困難等弊端。

OLAP系統(tǒng)和OLTP的不同之處在于OLAP著重于分析型的系統(tǒng)，呈現(xiàn)出以涉及數(shù)據(jù)量大、多表連接等特征。目前數(shù)據(jù)倉(cāng)庫(kù)和OLAP市場(chǎng)上的主流技術(shù)架構(gòu)為Share Nothing+MPV，具體來說就是將數(shù)據(jù)按照一定的規(guī)則分布在多個(gè)磁盤上面，也就是我們常說的數(shù)據(jù)磁盤，相較OLTP系統(tǒng)將所有數(shù)據(jù)都存放于一塊盤上的方式，使用Share Nothing架構(gòu)會(huì)使余額表的數(shù)據(jù)均勻分布在所有磁盤，后續(xù)對(duì)這張余額表進(jìn)行的所有操作也都是所有磁盤一起運(yùn)行，使系統(tǒng)性能得到顯著提升。由于采用Share Nothing架構(gòu)，使PDA擁有比傳統(tǒng)架構(gòu)快10—100位的數(shù)據(jù)處理速度。

硬件加速卡是PAD的技術(shù)核心，它由兩塊8核、128G的磁盤組成，整個(gè)機(jī)器可用數(shù)據(jù)容量192TB.硬件加構(gòu)卡主要有以下三個(gè)功能：壓縮和解壓——數(shù)據(jù)入庫(kù)進(jìn)行壓縮和解壓且不占用計(jì)算節(jié)點(diǎn)，而是完成在壓縮和解壓消耗的CPU兩個(gè)卡上面。 ？？——我們可以把它簡(jiǎn)單理解為把不需要的列去掉。PDA數(shù)據(jù)流入內(nèi)存前，會(huì)先經(jīng)過一道流處理將不需要的字段會(huì)被全部砍掉，很大程度上減少內(nèi)存壓力。 過濾——這是把不需要的行去掉。經(jīng)過投影和過濾功能處理過以后，數(shù)據(jù)從磁盤往內(nèi)存搬的時(shí)候，只會(huì)涉及到最后有用的數(shù)據(jù)，使系統(tǒng)性能得到顯著提升。

PDA可以與Datastage等IBM內(nèi)部產(chǎn)品實(shí)現(xiàn)無縫集成。今年P(guān)DA新加入了Fluid Query，它可以實(shí)現(xiàn)客戶在應(yīng)用端發(fā)起查詢以后，無論這個(gè)查詢涉及幾張表，是在PDA平臺(tái)里還是在Hadoop平臺(tái)里，都可以通過Fluid Query功能自動(dòng)去找到這張表對(duì)應(yīng)的平臺(tái)，然后去做相應(yīng)的查詢和操作業(yè)務(wù)。

IBM PDA通過磁盤、計(jì)算節(jié)點(diǎn)和管理節(jié)點(diǎn)來做到HA的三重保障。 另外，它支持很多第三方備份軟件，可以實(shí)現(xiàn)全量備分、插量備份、累計(jì)備分三種模式，大程度保證數(shù)據(jù)安全。

最后要說明的是，PDA相對(duì)于市面上其他數(shù)據(jù)倉(cāng)庫(kù)一體機(jī)來講是，需要企業(yè)投入的管理力量是最小的，體現(xiàn)幾點(diǎn)。第一，PDA沒有索、主件、外件和分區(qū)，也基本不需要調(diào)優(yōu)，因?yàn)樗恼{(diào)優(yōu)在模型設(shè)計(jì)階段已經(jīng)體現(xiàn)。第二，不需要存儲(chǔ)管理。PDA的設(shè)計(jì)中不存在傳統(tǒng)架構(gòu)中類似于表空間的儲(chǔ)存管理。第三，本身具有容錯(cuò)機(jī)制。一旦發(fā)生故障，只需要及時(shí)將出現(xiàn)問題的部分及時(shí)更換，不會(huì)引起某個(gè)機(jī)器癱瘓，企業(yè)也就不用再雇傭?qū)Ｂ毜臄?shù)據(jù)管理員。

PDA走進(jìn)中國(guó)大陸地區(qū)不過三年時(shí)間，卻已經(jīng)擁有電信、證券、銀行等傳統(tǒng)行業(yè)在內(nèi)的40余位客戶，通過提供高性能、海量數(shù)據(jù)存儲(chǔ)和海量數(shù)據(jù)處理、降低運(yùn)維成本、對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行更加深層次的分析研究等方面的解決方案，為企業(yè)帶來價(jià)值。

新聞標(biāo)題：大數(shù)據(jù)時(shí)代企業(yè)CDO的新玩兒法
新聞來源：http://muchs.cn/article24/socpje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗(yàn)、標(biāo)簽優(yōu)化、企業(yè)網(wǎng)站制作、App開發(fā)、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)