魏凱：大數(shù)據(jù)的價(jià)值探索與實(shí)踐

互聯(lián)網(wǎng)IDC圈1月7日?qǐng)?bào)道，1月5-7日，第十屆中國IDC產(chǎn)業(yè)年度大典（IDCC2015）在北京國家會(huì)議中心隆重召開。本次大會(huì)由中國信息通信研究院、云計(jì)算發(fā)展與政策論壇、數(shù)據(jù)中心聯(lián)盟指導(dǎo)，中國IDC產(chǎn)業(yè)年度大典組委會(huì)主辦，互聯(lián)網(wǎng)IDC圈承辦，并受到諸多媒體的大力支持。

創(chuàng)新互聯(lián)公司是一家專業(yè)提供湟中企業(yè)網(wǎng)站建設(shè),專注與成都做網(wǎng)站、成都網(wǎng)站建設(shè)、H5技術(shù)、小程序制作等業(yè)務(wù)。10年已為湟中眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站設(shè)計(jì)公司優(yōu)惠進(jìn)行中。

中國IDC產(chǎn)業(yè)年度大典作為國內(nèi)云計(jì)算和數(shù)據(jù)中心領(lǐng)域規(guī)模大、最具影響力的標(biāo)志性盛會(huì)，之前已成功舉辦過九屆，在本屆大會(huì)無論是規(guī)格還是規(guī)模都"更上一層樓"，引來現(xiàn)場(chǎng)人員爆滿，影響力全面覆蓋數(shù)據(jù)中心、互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等多個(gè)領(lǐng)域。

數(shù)據(jù)中心聯(lián)盟大數(shù)據(jù)工作組組長(zhǎng)魏凱出席IDCC2015大會(huì)并在大數(shù)據(jù)應(yīng)用與安全技術(shù)論壇發(fā)表主題為《大數(shù)據(jù)的價(jià)值探索與實(shí)踐》的精彩演講。

數(shù)據(jù)中心聯(lián)盟大數(shù)據(jù)工作組組長(zhǎng)魏凱

以下為魏凱演講實(shí)錄：

大家好，我是信息通信研究院的魏凱，我同時(shí)在數(shù)據(jù)中心聯(lián)盟大數(shù)據(jù)工作組工作，今天題目是大數(shù)據(jù)應(yīng)用與安全，跟大家探討三部分，一是我們對(duì)大數(shù)據(jù)產(chǎn)業(yè)技術(shù)發(fā)展的概覽，大家做安全的同時(shí)對(duì)大數(shù)據(jù)有主要的了解，分享一下我們的主要觀點(diǎn)。二是我們?cè)鹤稣咧蔚臅r(shí)候了解到的信息，國家現(xiàn)在在做大數(shù)據(jù)的國家戰(zhàn)略，工信部大數(shù)據(jù)產(chǎn)業(yè)的十三五規(guī)劃的最新進(jìn)展和政策考慮，有些與安全有關(guān)。三是數(shù)據(jù)中心聯(lián)盟和我們?cè)鹤龅呐c大數(shù)據(jù)有關(guān)的工作，看看大家有沒有結(jié)合點(diǎn)。

第一，不管是國內(nèi)還是國外，大數(shù)據(jù)這個(gè)產(chǎn)業(yè)有誰在玩，有三個(gè)環(huán)節(jié)，第一個(gè)環(huán)節(jié)是數(shù)據(jù)資源，大數(shù)據(jù)如果沒有數(shù)據(jù)的話是無米之炊的事情。怎么來擁有和獲取這些數(shù)據(jù)，我待會(huì)兒會(huì)詳細(xì)地說每個(gè)環(huán)節(jié)有什么問題。第二個(gè)環(huán)節(jié)，有了數(shù)據(jù)以后怎么用很好的很便宜的系統(tǒng)把它存下來，分布式的集群把它管起來，用先進(jìn)的算法把它挖掘出來。第三個(gè)環(huán)節(jié)是應(yīng)用和服務(wù)的環(huán)節(jié)，我們從產(chǎn)值的分布來看是依次在增加，前兩個(gè)環(huán)節(jié)對(duì)國內(nèi)做了一個(gè)統(tǒng)計(jì)，統(tǒng)計(jì)大數(shù)據(jù)的產(chǎn)值有多大，前兩個(gè)環(huán)節(jié)全球200億美元，中國100億人民幣，如果把第三個(gè)環(huán)節(jié)算上非常大，很多咨詢機(jī)構(gòu)和政府智庫都在評(píng)估大數(shù)據(jù)對(duì)國家?guī)淼慕?jīng)濟(jì)效益有多大，大概是GDP的2%，那是非常大的。中國GDP如果乘以2%是非常大的量。大數(shù)據(jù)整個(gè)產(chǎn)業(yè)有很強(qiáng)的外部效應(yīng)。

我詳細(xì)說一下每個(gè)環(huán)節(jié)存在什么問題。第一個(gè)環(huán)節(jié)是數(shù)據(jù)，我們跟很多做大數(shù)據(jù)的公司，包括應(yīng)用部門、技術(shù)提供部門都在討論，數(shù)據(jù)是極度不均衡的，需要數(shù)據(jù)的人拿不到數(shù)據(jù)非常著急，結(jié)構(gòu)性短缺問題非常嚴(yán)重，其實(shí)每個(gè)企業(yè)的數(shù)據(jù)都在暴增，書到用時(shí)方恨少，數(shù)據(jù)也是一樣的，有這樣一個(gè)現(xiàn)象就是結(jié)構(gòu)性短缺。結(jié)構(gòu)性短缺有兩個(gè)不正常的狀態(tài)，兩個(gè)極端，一個(gè)極端是很多希望拿到數(shù)據(jù)的，比如銀行希望拿到客戶的數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行精準(zhǔn)的分析，做征信的評(píng)估，但很難從各個(gè)渠道獲取很全的數(shù)據(jù)。要數(shù)據(jù)的人拿不到，數(shù)據(jù)死鎖在政府部門，死鎖在數(shù)據(jù)擁有的企業(yè)手里。另外是無序的，黑市上的數(shù)據(jù)交易非常多，個(gè)人信息的泄露經(jīng)常發(fā)生。我們覺得是兩個(gè)極端現(xiàn)象，是不正常的現(xiàn)象，應(yīng)該是中間狀態(tài)，像水龍頭一樣，需要的時(shí)候開，不需要的時(shí)候關(guān)掉，這應(yīng)該是有序流動(dòng)的狀態(tài)，這是一個(gè)理想狀態(tài)，但現(xiàn)在做不到。

企業(yè)獲取數(shù)據(jù)非常困難，不光是小企業(yè)，大企業(yè)也一樣，這里列舉了幾種，一些大銀行、大企業(yè)獲取數(shù)據(jù)都有什么招術(shù)。有七八種招術(shù)，跟別人合作，自己建平臺(tái)，建電商平臺(tái)，獲取政府開放的數(shù)據(jù)。跟企業(yè)合作成本是非常高的，你想買數(shù)據(jù)，有數(shù)據(jù)的人是很猶豫的，擔(dān)心產(chǎn)權(quán)糾紛。等數(shù)據(jù)開放是等不起的，國家在綱要里提了2018年要建一個(gè)大數(shù)據(jù)的統(tǒng)一開放平臺(tái)，阻力非常大。數(shù)據(jù)的獲取非常成問題。交易所是非常好的途徑，各地每個(gè)月都會(huì)成立一個(gè)大數(shù)據(jù)交易所，地方政府領(lǐng)導(dǎo)非常熱衷于交易所的成立，現(xiàn)在運(yùn)行在制度真空的條件下非常令人擔(dān)憂，里面有很多問題，特別是權(quán)力、責(zé)任、利益的分割，在數(shù)據(jù)交易的事情里沒有清晰地討論清楚，基本是建立在沙灘蓋樓的狀態(tài)，很多理論上的問題沒有解決，比如產(chǎn)權(quán)的界定很模糊。這是我們看到的數(shù)據(jù)的問題。

大數(shù)據(jù)技術(shù)，2000年左右到現(xiàn)在技術(shù)更替非?？欤貏e是底層技術(shù)沒幾年就會(huì)來一輪新的變化，我們認(rèn)為大概經(jīng)歷了三個(gè)階段，九十年代很多企業(yè)做數(shù)據(jù)分析都是用原來的數(shù)據(jù)庫，這種情況下成本非常高，2000年左右，谷歌等大的互聯(lián)網(wǎng)公司發(fā)明了新技術(shù)，用Hadoop，用非關(guān)系型數(shù)據(jù)庫做數(shù)據(jù)分析，解放了很多限制，一下子把工程師的思路打開了，可以放松一致性的要求，讓我的吞吐量變得非常高，成本下降非常快，這是NoSQL的興起。2010年以后，在互聯(lián)網(wǎng)公司的教育下，傳統(tǒng)企業(yè)認(rèn)識(shí)到大數(shù)據(jù)的平臺(tái)對(duì)他是有價(jià)值的，對(duì)他在未來是有戰(zhàn)略性的事情。對(duì)傳統(tǒng)公司、傳統(tǒng)行業(yè)來說，大數(shù)據(jù)的門檻非常高，因?yàn)樗麄儧]有Hadoop的程序員，沒有NoSQL的程序員，應(yīng)用還是跑在SQL上，沒有辦法遷移到JAVA平臺(tái)說，應(yīng)用起來慣性非常強(qiáng)。2010年以后討論最多的就是怎么給Hadoop加上SQL接口，讓分布式的平臺(tái)能兼容以前的使用習(xí)慣，甚至讓應(yīng)用無感知地運(yùn)營在Hadoop上，這是第三個(gè)階段的輪回，放棄了Hadoop?，F(xiàn)在更熱的是把Hadoop當(dāng)做數(shù)據(jù)庫來用，不管企業(yè)級(jí)軟件還是應(yīng)用開發(fā)很重要的方向。

產(chǎn)業(yè)里的第三個(gè)環(huán)節(jié)是應(yīng)用，我們看到的情況是互聯(lián)網(wǎng)很熱，因?yàn)榛ヂ?lián)網(wǎng)這些技術(shù)、模式、理念都來源于互聯(lián)網(wǎng)，天然是很熱的?；ヂ?lián)網(wǎng)+是互聯(lián)網(wǎng)這些公司把新的技術(shù)往其他行業(yè)推的一個(gè)過程，其他行業(yè)還是處于非常早期的階段、摸索的階段、證明大數(shù)據(jù)價(jià)值的階段，我還沒有看到很多很成熟的案例出來，互聯(lián)網(wǎng)是一個(gè)領(lǐng)先的狀態(tài)。第二個(gè)熱的是政府，很多政府搞招商引資，搞園區(qū)建設(shè)，政府有很強(qiáng)的沖動(dòng)去做大數(shù)據(jù)產(chǎn)業(yè)，特別是經(jīng)濟(jì)落后的地方，很多地方覺得這是彎道超車的機(jī)會(huì)。

行業(yè)應(yīng)用到底怎么樣？行業(yè)應(yīng)用是大數(shù)據(jù)產(chǎn)業(yè)的中間環(huán)節(jié)，只有各個(gè)行業(yè)應(yīng)用得好，大數(shù)據(jù)整個(gè)產(chǎn)業(yè)才能起來。行業(yè)應(yīng)用現(xiàn)在還處于小學(xué)一年級(jí)的階段，運(yùn)營商、銀行他們僅僅是大規(guī)模商用的系統(tǒng)，主要是把歷史賬單歸攏起來。以前銀行查個(gè)歷史賬單要等一周的時(shí)間，提個(gè)申請(qǐng)，他給你弄個(gè)指示?，F(xiàn)在實(shí)時(shí)可以查開戶以來的歷史賬單。做到這一點(diǎn)很不容易，他要把歷史上的磁盤上存的弄到Hadoop做查詢，這是第一步，有了這一步后面做很多事情就方便了，但仍然是在這個(gè)過程中，未來的藍(lán)圖是給用戶畫像，傳統(tǒng)行業(yè)剛剛開始，因?yàn)閿?shù)據(jù)的問題。他的精準(zhǔn)營銷、風(fēng)險(xiǎn)管控，兩個(gè)維度，一個(gè)維度需要更多的外部數(shù)據(jù)跟內(nèi)部數(shù)據(jù)耦合，另外一個(gè)維度是更高級(jí)的分析技術(shù)和平臺(tái)支持，兩個(gè)維度同時(shí)進(jìn)步才能產(chǎn)生更高級(jí)進(jìn)步的價(jià)值，這是我們對(duì)于行業(yè)應(yīng)用的認(rèn)識(shí)。

剛才說了產(chǎn)業(yè)的觀察，說一下我們對(duì)于政策的展望。2015年國家出臺(tái)了與信息技術(shù)有關(guān)的國務(wù)院頂層文件是最多的，與大數(shù)據(jù)直接有關(guān)的是兩個(gè)，運(yùn)用大數(shù)據(jù)加強(qiáng)市場(chǎng)主體服務(wù)和監(jiān)管的文件，這主要是對(duì)內(nèi)的政府怎么做信用評(píng)級(jí)、做市場(chǎng)監(jiān)管。第二是綱領(lǐng)性文件，怎么全局地促進(jìn)大數(shù)據(jù)的發(fā)展。綱領(lǐng)性文件里的主要內(nèi)容都有哪些？大的是一個(gè)目標(biāo)，現(xiàn)在政府部門的領(lǐng)導(dǎo)認(rèn)識(shí)到中國是一個(gè)數(shù)據(jù)大國，不是數(shù)據(jù)強(qiáng)國，這個(gè)文件主要的核心意思是怎么把中國變成數(shù)據(jù)強(qiáng)國。

有三方面內(nèi)容，一是要推動(dòng)政府?dāng)?shù)據(jù)的開放和共享，兩個(gè)層面，一個(gè)是對(duì)外開放，另一個(gè)是政府之間的共享。第二是怎么做大做強(qiáng)產(chǎn)業(yè)，不要十年后再喊去IOE，大數(shù)據(jù)里不能再?zèng)]有自己的位置。第三是安全。

前面我簡(jiǎn)單回顧了產(chǎn)業(yè)和政策的情況。第三部分是我們的團(tuán)隊(duì)做什么。中國信息通信研究院是工信部下屬的事業(yè)單位，是政府政策支撐的部門，我們參與了很多重要的大數(shù)據(jù)相關(guān)文件制定，不光是大數(shù)據(jù)，第50個(gè)國務(wù)院文件里我們?cè)浩鸩萘怂膫€(gè)，這是對(duì)上的。我們?cè)跀?shù)據(jù)中心聯(lián)盟下做產(chǎn)業(yè)急需的事情，有幾方面跟大數(shù)據(jù)有關(guān)，一是我們跟廠商、用戶單位一起制定大數(shù)據(jù)相關(guān)產(chǎn)品的規(guī)范、評(píng)測(cè)的方法，希望通過這個(gè)手段提高我們國內(nèi)大數(shù)據(jù)產(chǎn)品的水平。二是合規(guī)地推動(dòng)數(shù)據(jù)的跨行業(yè)、跨部門的流動(dòng)，在做一些嘗試，后面會(huì)陸續(xù)發(fā)布很多成果在數(shù)據(jù)交易和流通方面。另外是人才培訓(xùn)。

今天主要講一下我們?cè)诋a(chǎn)品標(biāo)準(zhǔn)方面的情況。2015年年初到年末我們做了兩個(gè)標(biāo)準(zhǔn)，一個(gè)是大數(shù)據(jù)平臺(tái)的基準(zhǔn)測(cè)試，技術(shù)要求和評(píng)測(cè)方法，這個(gè)標(biāo)準(zhǔn)主要內(nèi)容是我們把大數(shù)據(jù)整個(gè)產(chǎn)品體系分成三個(gè)層次，第一個(gè)層次是基礎(chǔ)平臺(tái)類的產(chǎn)品，第二個(gè)層次是數(shù)據(jù)管理平臺(tái)，數(shù)據(jù)治理、數(shù)據(jù)管理、數(shù)據(jù)資源的統(tǒng)一視圖，第三是最上層的BI工具及其他可視化工具，現(xiàn)在開展標(biāo)準(zhǔn)化的工作在底下的基礎(chǔ)平臺(tái)方面。我們經(jīng)過很多大量的調(diào)研，從幾方面提出來，一是可用性，產(chǎn)品應(yīng)該有很高的可用性。二是架構(gòu)的兼容，應(yīng)該跟傳統(tǒng)的應(yīng)用架構(gòu)互操作。三是很高的性價(jià)比，很好的線性水平擴(kuò)展，這是非常重要的特性。

安全性，主要是數(shù)據(jù)加密、權(quán)限管理、數(shù)據(jù)安全保護(hù)。易用性，企業(yè)運(yùn)維的成本非常高，大家要很簡(jiǎn)易地部署。災(zāi)備和應(yīng)用連續(xù)性的要求。這是我們產(chǎn)品標(biāo)準(zhǔn)定義方面的情況。2015年5月、7月組織第一輪測(cè)試，大家看到這幾個(gè)廠商的名字是比較大牌的，參與了我們這個(gè)測(cè)試，也創(chuàng)造了很多第一，首次在統(tǒng)一的平臺(tái)上做商業(yè)產(chǎn)品的測(cè)試。我們第二輪測(cè)試正在報(bào)名，如果你有大數(shù)據(jù)產(chǎn)品和服務(wù)的話，歡迎和我們聯(lián)系，一塊參與到標(biāo)準(zhǔn)和評(píng)測(cè)的活動(dòng)中來，這個(gè)評(píng)測(cè)活動(dòng)會(huì)持續(xù)到3月份完成，4月份會(huì)在高端的大會(huì)上公開發(fā)布評(píng)測(cè)結(jié)果。歡迎大家跟我們一塊來推動(dòng)。

我的介紹就是這些，如果有問題可以再跟我探討，謝謝大家！

網(wǎng)站欄目：魏凱：大數(shù)據(jù)的價(jià)值探索與實(shí)踐
網(wǎng)頁鏈接：http://www.muchs.cn/article44/sdcehe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、網(wǎng)站營銷、外貿(mào)網(wǎng)站建設(shè)、Google、App開發(fā)、微信公眾號(hào)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)