Hadoop之NameNodeFederation的示例分析

這篇文章給大家分享的是有關(guān)Hadoop之NameNode Federation的示例分析的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、小程序定制開發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了祁陽免費(fèi)建站歡迎大家使用！

一. 前言

1.NameNode架構(gòu)的局限性

（1）Namespace（命名空間）的限制

由于NameNode在內(nèi)存中存儲(chǔ)所有的元數(shù)據(jù)（metadata），因此單個(gè)NameNode所能存儲(chǔ)的對(duì)象（文件+塊）數(shù)目受到NameNode所在JVM的heap size的限制。50G的heap能夠存儲(chǔ)20億（200million）個(gè)對(duì)象，這20億個(gè)對(duì)象支持4000個(gè)DataNode，12PB的存儲(chǔ)（假設(shè)文件平均大小為40MB）。隨著數(shù)據(jù)的飛速增長，存儲(chǔ)的需求也隨之增長。單個(gè)DataNode從4T增長到36T，集群的尺寸增長到8000個(gè)DataNode。存儲(chǔ)的需求從12PB增長到大于100PB。

（2）隔離問題

由于HDFS僅有一個(gè)NameNode，無法隔離各個(gè)程序，因此HDFS上的一個(gè)實(shí)驗(yàn)程序就很有可能影響整個(gè)HDFS上運(yùn)行的程序。

（3）性能的瓶頸

由于是單個(gè)NameNode的HDFS架構(gòu)，因此整個(gè)HDFS文件系統(tǒng)的吞吐量受限于單個(gè)NameNode的吞吐量。

2.HDFS Federation架構(gòu)設(shè)計(jì)，如圖所示

能不能有多個(gè)NameNode

HDFS Federation架構(gòu)設(shè)計(jì)

二.實(shí)現(xiàn)

NameNode HA是為了解決NameNode可用性的問題，而NameNode Federation則主要是為了解決NameNode擴(kuò)展性，隔離性，以及單個(gè)NameNode性能方面的問題。NameNode Federation架構(gòu)如下：

NameNode Federation使用了多個(gè)命名空間，這些命名空間互相獨(dú)立，自制（其實(shí)是對(duì)元數(shù)據(jù)的水平切分），而集群中所有DataNode向所有NameNode都進(jìn)行注冊(cè)，而一個(gè)塊池（block pool）有屬于同一個(gè)命名空間的數(shù)據(jù)塊組成，每個(gè)DataNode可能會(huì)存儲(chǔ)集群中所有塊池的數(shù)據(jù)塊，每個(gè)塊池互相獨(dú)立，有一個(gè)掛掉了也不會(huì)影響其他塊池正常工作。

同時(shí)部署了NameNode HA和NameNode Federation時(shí)，集群結(jié)構(gòu)會(huì)相對(duì)復(fù)雜一點(diǎn)，如下圖。在實(shí)際的生成環(huán)境中，NameNode HA幾乎是必備，而當(dāng)集群規(guī)模在1000臺(tái)以下時(shí)，幾乎是不需要NameNode Federation的。

感謝各位的閱讀！關(guān)于“Hadoop之NameNode Federation的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

新聞名稱：Hadoop之NameNodeFederation的示例分析
分享網(wǎng)址：http://muchs.cn/article14/piojde.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、品牌網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、建站公司、微信小程序、動(dòng)態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)