大數(shù)據(jù)hadoop入門之hadoop家族詳解-創(chuàng)新互聯(lián)

大數(shù)據(jù)這個詞也許幾年前你聽著還會覺得陌生，但我相信你現(xiàn)在聽到 hadoop 這個詞的時候你應(yīng)該都會覺得“熟悉”！越來越發(fā)現(xiàn)身邊從事 hadoop 開發(fā)或者是正在學習 hadoop 的人變多了。作為一個 hadoop 入門級的新手，你會覺得哪些地方很難呢？運行環(huán)境的搭建恐怕就已經(jīng)足夠讓新手頭疼。如果每一個發(fā)行版 hadoop 都可以做到像大快 DKHadoop 那樣把各種環(huán)境搭建集成到一起，一次安裝搞定所有，那對于新手來說將是件多么美妙的事情！
閑話扯得稍微多了點，回歸整體。這篇準備給大家 hadoop 新入門的朋友分享一些 hadoop 的基礎(chǔ)知識—— hadoop 家族產(chǎn)品。通過對 hadoop 家族產(chǎn)品的認識，進一步幫助大家學習好 hadoop ！同時，也歡迎大家提出寶貴意見！
一、Hadoop定義
Hadoop 是一個大家族，是一個開源的生態(tài)系統(tǒng)，是一個分布式運行系統(tǒng)，是基于Java編程語言的架構(gòu)。不過它最高明的技術(shù)還是HDFS和MapReduce，使得它可以分布式處理海量數(shù)據(jù)。
二、Hadoop產(chǎn)品

創(chuàng)新互聯(lián)主要從事網(wǎng)站設(shè)計、成都網(wǎng)站設(shè)計、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)吉州,10多年網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575

HDFS （分布式文件系統(tǒng)）：
它與現(xiàn)存的文件系統(tǒng)不同的特性有很多，比如高度容錯（即使中途出錯，也能繼續(xù)運行），支持多媒體數(shù)據(jù)和流媒體數(shù)據(jù)訪問，高效率訪問大型數(shù)據(jù)集合，數(shù)據(jù)保持嚴謹一致，部署成本降低，部署效率提高等，如圖是HDFS的基礎(chǔ)架構(gòu)。

MapReduce/Spark/Storm （并行計算架構(gòu)）：
1 、數(shù)據(jù)處理方式來說分離線計算和在線計算：
角色
描述
MapReduce
MapReduce 常用于離線的復雜的大數(shù)據(jù)計算
Storm
Storm 用于在線的實時的大數(shù)據(jù)計算，Storm的實時主要是一條一條數(shù)據(jù)處理；
Spark
可以用于離線的也可用于在線的實時的大數(shù)據(jù)計算，Spark的實時主要是處理一個個時間區(qū)域的數(shù)據(jù)，所以說Spark比較靈活。
2 、數(shù)據(jù)存儲位置來說分磁盤計算和內(nèi)存計算：
角色
描述
MapReduce
數(shù)據(jù)存在磁盤中
Spark 和Strom
數(shù)據(jù)存在內(nèi)存中
Pig/Hive （Hadoop編程）：
角色
描述
Pig
是一種高級編程語言，在處理半結(jié)構(gòu)化數(shù)據(jù)上擁有非常高的性能，可以幫助我們縮短開發(fā)周期。
Hive
是數(shù)據(jù)分析查詢工具，尤其在使用類SQL查詢分析時顯示出極高的性能?？梢栽诜址昼娡瓿蒃TL要一晚上才能完成的事情，這就是優(yōu)勢，占了先機！
HBase/Sqoop/Flume （數(shù)據(jù)導入與導出）:
角色
描述
HBase
是運行在HDFS架構(gòu)上的列存儲數(shù)據(jù)庫，并且已經(jīng)與Pig/Hive很好地集成。通過Java API可以近無縫地使用HBase。
Sqoop
設(shè)計的目的是方便從傳統(tǒng)數(shù)據(jù)庫導入數(shù)據(jù)到Hadoop數(shù)據(jù)集合(HDFS/Hive)。
Flume
設(shè)計的目的是便捷地從日志文件系統(tǒng)直接把數(shù)據(jù)導入到Hadoop數(shù)據(jù)集合(HDFS)中。
以上這些數(shù)據(jù)轉(zhuǎn)移工具都極大地方便了使用的人，提高了工作效率，把精力專注在業(yè)務(wù)分析上。
ZooKeeper/Oozie （系統(tǒng)管理架構(gòu)）：
角色
描述
ZooKeeper
是一個系統(tǒng)管理協(xié)調(diào)架構(gòu)，用于管理分布式架構(gòu)的基本配置。它提供了很多接口，使得配置管理任務(wù)簡單化。
Oozie
Oozie 服務(wù)是用于管理工作流。用于調(diào)度不同工作流，使得每個工作都有始有終。這些架構(gòu)幫助我們輕量化地管理大數(shù)據(jù)分布式計算架構(gòu)。
Ambari/Whirr （系統(tǒng)部署管理）：
角色
描述
Ambari
幫助相關(guān)人員快捷地部署搭建整個大數(shù)據(jù)分析架構(gòu)，并且實時監(jiān)控系統(tǒng)的運行狀況。
Whirr
Whirr 的主要作用是幫助快速地進行云計算開發(fā)。
Mahout （機器學習）：
Mahout 旨在幫助我們快速地完成高智商的系統(tǒng)。其中已經(jīng)實現(xiàn)了部分機器學習的邏輯。這個架構(gòu)可以讓我們快速地集成更多機器學習的智能。
大家喜歡多多關(guān)注，你的關(guān)注是我大的動力
需要大數(shù)據(jù)資料的可以私信我

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享標題：大數(shù)據(jù)hadoop入門之hadoop家族詳解-創(chuàng)新互聯(lián)
轉(zhuǎn)載來于：http://muchs.cn/article30/pogpo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化、App開發(fā)、品牌網(wǎng)站制作、商城網(wǎng)站、軟件開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)