本篇文章給大家分享的是有關Hadoop生態(tài)圈以及各組成部分是什么,小編覺得挺實用的,因此分享給大家學習,希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
創(chuàng)新互聯(lián)是一家專業(yè)提供贛榆企業(yè)網(wǎng)站建設,專注與成都網(wǎng)站設計、成都做網(wǎng)站、H5頁面制作、小程序制作等業(yè)務。10年已為贛榆眾多企業(yè)、政府機構等服務。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站建設公司優(yōu)惠進行中。
1.Hadoop是什么?
適合大數(shù)據(jù)的分布式存儲與計算平臺
HDFS: Hadoop Distributed File System分布式文件系統(tǒng)
MapReduce:并行計算框架
2.Hadoop生態(tài)圈
①HBase
Google Bigtable的開源實現(xiàn)
列式數(shù)據(jù)庫
可集群化
可以使用shell、web、api等多種方式訪問
適合高讀寫(insert)的場景
HQL查詢語言
NOSQL的典型代表產(chǎn)品
②Hive
數(shù)據(jù)倉庫工具??梢园袶adoop下的原始結構化數(shù)據(jù)變成Hive中的表
支持一種與SQL幾乎完全相同的語言HiveQL。除了不支持更新、索引和事務,幾乎SQL的其它特征都能支持
可以看成是從SQL到Map-Reduce的映射器
提供shell、JDBC/ODBC、Thrift、Web等接口
③Zookeeper
Google Chubby的開源實現(xiàn)
用于協(xié)調(diào)分布式系統(tǒng)上的各種服務。例如確認消息是否準確到達,防止單點失效,處理負載均衡等
應用場景:Hbase,實現(xiàn)Namenode自動切換
工作原理:***,跟隨者以及選舉過程
④Sqoop
用于在Hadoop和關系型數(shù)據(jù)庫之間交換數(shù)據(jù)
通過JDBC接口連入關系型數(shù)據(jù)庫
⑤Chukwa
架構在Hadoop之上的數(shù)據(jù)采集與分析框架
主要進行日志采集和分析
通過安裝在收集節(jié)點的“代理”采集最原始的日志數(shù)據(jù)
代理將數(shù)據(jù)發(fā)給收集器
收集器定時將數(shù)據(jù)寫入Hadoop集群
指定定時啟動的Map-Reduce作業(yè)隊數(shù)據(jù)進行加工處理和分析
⑥Pig
Hadoop客戶端
使用類似于SQL的面向數(shù)據(jù)流的語言Pig Latin
Pig Latin可以完成排序,過濾,求和,聚組,關聯(lián)等操作,可以支持自定義函數(shù)
Pig自動把Pig Latin映射為Map-Reduce作業(yè)上傳到集群運行,減少用戶編寫Java程序的苦惱
⑦Avro
數(shù)據(jù)序列化工具,由Hadoop的創(chuàng)始人Doug Cutting主持開發(fā)
用于支持大批量數(shù)據(jù)交換的應用。支持二進制序列化方式,可以便捷,快速地處理大量數(shù)據(jù)
動態(tài)語言友好,Avro提供的機制使動態(tài)語言可以方便地處理 Avro數(shù)據(jù)。
Thrift接口
⑧Cassandra
NoSQL,分布式的Key-Value型數(shù)據(jù)庫,由Facebook貢獻
與Hbase類似,也是借鑒Google Bigtable的思想體系
只有順序?qū)?,沒有隨機寫的設計,滿足高負荷情形的性能需求
3.Hadoop生態(tài)圈流程圖
以上就是Hadoop生態(tài)圈以及各組成部分是什么,小編相信有部分知識點可能是我們?nèi)粘9ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學到更多知識。更多詳情敬請關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
網(wǎng)站題目:Hadoop生態(tài)圈以及各組成部分是什么
URL鏈接:http://muchs.cn/article32/gheesc.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站維護、動態(tài)網(wǎng)站、品牌網(wǎng)站建設、全網(wǎng)營銷推廣、網(wǎng)站制作、網(wǎng)站改版
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)