大數(shù)據(jù)是什么意思？

大數(shù)據(jù)出現(xiàn)已經(jīng)有很長一點(diǎn)時間了，但很多人對于大數(shù)據(jù)的定義并不清楚。本篇文章主要從大數(shù)據(jù)的定義、特點(diǎn)、應(yīng)用、技術(shù)前景需求和學(xué)習(xí)資料分享幾個方面來分別闡述。

一、大數(shù)據(jù)是什么意思

 

大數(shù)據(jù)又稱黑暗數(shù)據(jù)，是指人腦無法處理的海量數(shù)據(jù)聚合成的信息資產(chǎn)，在民生、IT、金融、農(nóng)業(yè)、通信等方面都有廣泛應(yīng)用。大數(shù)據(jù)是全量數(shù)據(jù)，源于事實(shí)，也是事實(shí)，它并非既有經(jīng)濟(jì)理論變量性的函數(shù)分析，并不能在時間軸上理所應(yīng)當(dāng)?shù)匮诱归_去。在時間軸上，大數(shù)據(jù)終歸是局部的，遠(yuǎn)非全量，它是實(shí)然的，是已發(fā)生的，即其性質(zhì)上仍然是歷史數(shù)據(jù)而已。

二、大數(shù)據(jù)特點(diǎn)

 

業(yè)界(IBM 肇始定義)將大數(shù)據(jù)的特征歸納為4個“V”(量Volume，多樣Variety，價值Value，速Velocity)，或者說特點(diǎn)有四個層面：一，數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T);二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。三，價值密度低，商業(yè)價值高。四，處理速度快。末尾這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

三、大數(shù)據(jù)的技術(shù)前景需求

 

阿里巴巴創(chuàng)辦人馬云來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數(shù)據(jù)科技，顯示大數(shù)據(jù)對于阿里巴巴集團(tuán)來說舉足輕重。

據(jù)相關(guān)數(shù)據(jù)統(tǒng)計分析，未來5年大數(shù)據(jù)行業(yè)呈井噴趨勢，人才需求火爆，2018年大數(shù)據(jù)人才缺口更是高達(dá)900萬。毋庸置疑，企業(yè)給大數(shù)據(jù)工程師開出的薪水遠(yuǎn)高于一般工程師，千鋒畢業(yè)的大數(shù)據(jù)工程師平均薪資都在17.8K以上。

四、大數(shù)據(jù)的學(xué)習(xí)資料分享

對于大數(shù)據(jù)的學(xué)習(xí)，可以分為以下幾個階段進(jìn)行學(xué)習(xí)：

階段一、大數(shù)據(jù)基礎(chǔ)——java語言基礎(chǔ)方面

階段二、 Linux&Hadoop生態(tài)體系

階段三、 分布式計算框架和Spark&Strom生態(tài)體系

階段四、 大數(shù)據(jù)項目實(shí)戰(zhàn)(一線公司真實(shí)項目)

階段五、 大數(shù)據(jù)分析 —AI(人工智能)

"大數(shù)據(jù)"是一個體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進(jìn)行抓取、管理和處理。 "大數(shù)據(jù)"首先是指數(shù)據(jù)體量(volumes)大，指代大型數(shù)據(jù)集，一般在10TB規(guī)模左右，但在實(shí)際應(yīng)用中，很多企業(yè)用戶把多個數(shù)據(jù)集放在一起，已經(jīng)形成了PB級的數(shù)據(jù)量;其次是指數(shù)據(jù)類別(variety)大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。接著是數(shù)據(jù)處理速度(Velocity)快，在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實(shí)時處理。最后一個特點(diǎn)是指數(shù)據(jù)真實(shí)性(Veracity)高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興趣，傳統(tǒng)數(shù)據(jù)源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實(shí)性及安全性。

數(shù)據(jù)采集：ETL工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫、NOSQL、SQL等。

基礎(chǔ)架構(gòu)：云存儲、分布式文件存儲等。

數(shù)據(jù)處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機(jī)交互的語言問題的一門學(xué)科。處理自然語言的關(guān)鍵是要讓計算機(jī)"理解"自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計算語言學(xué)(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。

統(tǒng)計分析：假設(shè)檢驗、顯著性檢驗、差異分析、相關(guān)分析、T檢驗、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應(yīng)分析、多元對應(yīng)分析(最優(yōu)尺度分析)、bootstrap技術(shù)等等?！?shù)據(jù)挖掘：分類 (Classification)、估計(Estimation)、預(yù)測(Prediction)、相關(guān)性分組或關(guān)聯(lián)規(guī)則(Affinity grouping or association rules)、聚類(Clustering)、描述和可視化、Description and Visualization)、復(fù)雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)

模型預(yù)測：預(yù)測模型、機(jī)器學(xué)習(xí)、建模仿真。

結(jié)果呈現(xiàn)：云計算、標(biāo)簽云、關(guān)系圖等。

要理解大數(shù)據(jù)這一概念，首先要從"大"入手，"大"是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個V來總結(jié)(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價值密度低、速度快。

第一，數(shù)據(jù)體量巨大。從TB級別，躍升到PB級別。第二，數(shù)據(jù)類型繁多，如前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息，等等。

第三，價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。

第四，處理速度快。1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。

大數(shù)據(jù)技術(shù)是指從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價值信息的技術(shù)。解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術(shù)。目前所說的"大數(shù)據(jù)"不僅指數(shù)據(jù)本身的規(guī)模，也包括采集數(shù)據(jù)的工具、平臺和數(shù)據(jù)分析系統(tǒng)。大數(shù)據(jù)研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，通過解決巨量數(shù)據(jù)處理問題促進(jìn)其突破性發(fā)展。因此，大數(shù)據(jù)時代帶來的挑戰(zhàn)不僅體現(xiàn)在如何處理巨量數(shù)據(jù)從中獲取有價值的信息，也體現(xiàn)在如何加強(qiáng)大數(shù)據(jù)技術(shù)研發(fā)，搶占時代發(fā)展的前沿。

標(biāo)題名稱：大數(shù)據(jù)是什么意思？
當(dāng)前URL：http://www.muchs.cn/news23/203023.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、品牌網(wǎng)站設(shè)計、網(wǎng)站導(dǎo)航、商城網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)