簡單了解一下大數(shù)據(jù)的一些基本概念-創(chuàng)新互聯(lián)

一、大數(shù)據(jù)

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：主機域名、虛擬主機、營銷軟件、網(wǎng)站建設(shè)、澤庫網(wǎng)站維護、網(wǎng)站推廣。

1、什么是大數(shù)據(jù)？

大數(shù)據(jù)（Big data或Megadata）：大數(shù)據(jù)，或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時間達到截取、管理、處理、并整理成為人類所能解讀的形式的信息。

2、大數(shù)據(jù)特點

①Volume：數(shù)據(jù)量大，包括采集、存儲和計算的量都非常大。大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。

②Variety：種類和來源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具體表現(xiàn)為網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。

在這里還是要推薦下我自己建的大數(shù)據(jù)學(xué)習(xí)交流群:529867072，群里都是學(xué)大數(shù)據(jù)開發(fā)的，如果你正在學(xué)習(xí)大數(shù)據(jù) ，小編歡迎你加入,大家都是軟件開發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)軟件開發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進階資料和高級開發(fā)教程，歡迎進階中和進想深入大數(shù)據(jù)的小伙伴加入。

③Value：數(shù)據(jù)價值密度相對較低，或者說是浪里淘沙卻又彌足珍貴。隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價值密度較低，如何結(jié)合業(yè)務(wù)邏輯并通過強大的機器算法來挖掘數(shù)據(jù)價值，是大數(shù)據(jù)時代最需要解決的問題。

④Velocity：數(shù)據(jù)增長速度快，處理速度也快，時效性要求高。比如搜索引擎要求幾分鐘前的新聞能夠被用戶查詢到，個性化推薦算法盡可能要求實時完成推薦。這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的顯著特征。

⑤Veracity：數(shù)據(jù)的準確性和可信賴度，即數(shù)據(jù)的質(zhì)量。

二、數(shù)據(jù)倉庫

1、什么是數(shù)據(jù)倉庫？

在計算中，數(shù)據(jù)倉庫（DW或DWH）也稱為企業(yè)數(shù)據(jù)倉庫（EDW），是用于報告和數(shù)據(jù)分析的系統(tǒng)，被視為商業(yè)智能的核心組件。DWs從一個或多個不同源的綜合數(shù)據(jù)的中央儲存庫。他們將當前和歷史數(shù)據(jù)存儲在一個地方，用于為整個企業(yè)的工作人員創(chuàng)建分析報告。

2、數(shù)據(jù)倉庫兩種操作方式的特點

①在線分析處理（OLAP）的特點是交易量相對較低。查詢往往非常復(fù)雜，涉及到聚合。對于OLAP系統(tǒng)，響應(yīng)時間是一種有效性度量。數(shù)據(jù)挖掘技術(shù)廣泛使用OLAP應(yīng)用程序。OLAP數(shù)據(jù)庫以多維模式（通常為星型模式）存儲匯總的歷史數(shù)據(jù)。與數(shù)據(jù)集市相比，OLAP系統(tǒng)通常具有數(shù)小時的數(shù)據(jù)延遲，而數(shù)據(jù)集市預(yù)計延遲將接近一天。OLAP方法用于分析來自多個來源和視角的多維數(shù)據(jù)。OLAP中的三個基本操作是：總結(jié)（合并），鉆取和切片和切塊。

②聯(lián)機事務(wù)處理（OLTP）的特點是大量短暫的在線事務(wù)（INSERT，UPDATE，DELETE）。OLTP系統(tǒng)強調(diào)非?？焖俚牟樵兲幚聿⒈３侄嘣L問環(huán)境中的數(shù)據(jù)完整性。對于OLTP系統(tǒng)，有效性以每秒交易次數(shù)來衡量。OLTP數(shù)據(jù)庫包含詳細和當前的數(shù)據(jù)。用于存儲事務(wù)數(shù)據(jù)庫的模式是實體模型（通常是3NF）。規(guī)范化是對在該系統(tǒng)中數(shù)據(jù)建模技術(shù)的規(guī)范。

三、ETL與DM的區(qū)別

ETL/Extraction-Transformation-Loading——用于完成DB到DW的數(shù)據(jù)轉(zhuǎn)存，它將DB中的某一個時間點的狀態(tài)，“抽取”出來，根據(jù)DW的存儲模型要求，“轉(zhuǎn)換”一下數(shù)據(jù)格式，然后再“加載”到DW的一個過程，這里需要強調(diào)的是，DB的模型是ER模型，遵從范式化設(shè)計原則，而DW的數(shù)據(jù)模型是雪花型結(jié)構(gòu)或者星型結(jié)構(gòu)，用的是面向主題，面向問題的設(shè)計思路，所以DB和DW的模型結(jié)構(gòu)不同，需要進行轉(zhuǎn)換。

DM/Data Mining/數(shù)據(jù)挖掘——這個挖掘，不是簡單的統(tǒng)計了，他是根據(jù)概率論的或者其他的統(tǒng)計學(xué)原理，將DW中的大數(shù)據(jù)量進行分析，找出我們不能直觀發(fā)現(xiàn)的規(guī)律。

四、Hadoop

1、什么是Hadoop？

維基百科上面，Hadoop的定義是：一個用java語言編寫的便于大型數(shù)據(jù)集合的分布式儲存和計算的軟件框架。簡單來說，這是計算機領(lǐng)域的一個開源軟件，任何程序開發(fā)者都可以看到它的源代碼，并且進行編譯。它的出現(xiàn)讓大數(shù)據(jù)的儲存和處理一下子變的快了很多，也便宜了很多。

2、Hadoop特點是什么？

①高效率（Efficient）：分布式云計算，采用標準x86架構(gòu)服務(wù)器大規(guī)模集群實現(xiàn)，每個模塊都是一個離散的處理單元，使用并行計算技術(shù)，及群內(nèi)各計算節(jié)點負載均衡，當某節(jié)點負荷過高時，可智能的將負荷轉(zhuǎn)移到其他節(jié)點，并支持節(jié)點線性平滑擴展；分布式云存儲，采用x86服務(wù)器的本地硬盤實現(xiàn)，使用分布式文件系統(tǒng)，每份數(shù)據(jù)至少保存在3個節(jié)點，保證存儲設(shè)計的性能和可靠性目標。

②可靠性（Reliable）：能搞自身的維護數(shù)據(jù)的多個成本，并且在任務(wù)失敗是自動的重新部署計算任務(wù)

③可擴容性（Scalable）：能可靠的儲存和處理PB級的數(shù)據(jù)

④成本低（Economical）：可以通過普通機器組成的服務(wù)器群來分發(fā)以及處理數(shù)據(jù)。這些服務(wù)器群總計可達數(shù)千個節(jié)點。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

文章名稱：簡單了解一下大數(shù)據(jù)的一些基本概念-創(chuàng)新互聯(lián)
文章出自：http://www.muchs.cn/article14/ddspge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、定制開發(fā)、品牌網(wǎng)站建設(shè)、網(wǎng)站收錄、網(wǎng)站制作、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)