HDFS（NameNode）的聯(lián)盟：Federation

HDFS（NameNode）的聯(lián)盟：Federation，配置HDFS聯(lián)盟，多個NameNode節(jié)點同時存活，根據(jù)代理配置的路由規(guī)則處理客戶端不同的請求，實現(xiàn)負載均衡，同時也可以緩存更多的元信息，它與HA的區(qū)別在于，聯(lián)盟是多個NameNode都是active，可以存儲更多的元信息。

成都創(chuàng)新互聯(lián)公司長期為上千家客戶提供的網(wǎng)站建設(shè)服務，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為玉田企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)，玉田網(wǎng)站改版等技術(shù)服務。擁有十多年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

一、聯(lián)盟與HA的聯(lián)系和區(qū)別

1、也有多個NameNode
2、跟HA的區(qū)別：這些NameNode都是active狀態(tài)
3、作用：
（1）緩存更多的元信息
（2）實現(xiàn)負載均衡

二、搭建HDFS的聯(lián)盟

（1）規(guī)劃
NameNode：bigdata112 bigdata113
DataNode：bigdata114 bigdata115
（2）在bigdata112上配置安裝hadoop
（2.1）解壓
（2.2）配置hadoop-env.sh中的java環(huán)境
export JAVA_HOME=/training/jdk1.8.0_144
（2.3）配置core-site.xml

            <!-- 指定hadoop臨時目錄 -->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/training/hadoop-2.7.3/tmp</value>
            </property>

（2.4）配置mapred-site.xml

    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>

（2.5）配置yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata12</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

（2.6）配置slaves

        bigdata14
        bigdata15

（2.7）配置hdfs-site.xml

 <!--指定hdfs的nameservice，聯(lián)盟是ns1，ns2-->
                <property>
                        <name>dfs.nameservices</name>
                        <value>ns1,ns2</value>
                </property>

    <!-- ns1的RPC通信地址 -->
                <property>
                        <name>dfs.namenode.rpc-address.ns1</name>
                        <value>bigdata112:9000</value>
                </property>
                <!-- ns1的http通信地址 -->
                <property>
                        <name>dfs.namenode.http-address.ns1</name>
                        <value>bigdata112:50070</value>
                </property>
          <property>
                        <name>dfs.namenode.secondaryhttp-address.ns1</name>
                        <value>bigdata112:50090</value>
                </property>

                <!-- ns2的RPC通信地址 -->
                <property>
                        <name>dfs.namenode.rpc-address.ns2</name>
                        <value>bigdata113:9000</value>
                </property>
                <!-- ns2的http通信地址 -->
                <property>
                        <name>dfs.namenode.http-address.ns2</name>
                        <value>bigdata113:50070</value>
                </property>
          <property>
                        <name>dfs.namenode.secondaryhttp-address.ns2</name>
                        <value>bigdata113:50090</value>
                </property>
    <！--副本-->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>

    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>

    <！--權(quán)限-->
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

（2.8）配置core-site.xml，增加路由規(guī)則

       <property>
            <name>fs.viewfs.mounttable.xdl1.homedir</name>
            <value>/home</value>
        </property>

        <property>
            <name>fs.viewfs.mounttable.xdl1.link./movies</name>
            <value>hdfs://bigdata114:9000/movies</value>
        </property>

        <property>
            <name>fs.viewfs.mounttable.xdl1.link./mp3</name>
            <value>hdfs://bigdata115:9000/mp3</value>
        </property>

        <property>
            <name>fs.default.name</name>
            <value>viewfs://xdl1</value>
        </property>

注意：如果路由規(guī)則太多，可以單獨創(chuàng)建一個xml文件（mounTable.xml）
（3）將112上的hadoop拷貝到113、114、115上

（4）對NameNode進行格式化

在112和113兩個namenode節(jié)點上格式化
hdfs namenode -format -clusterId xdl1

（5）啟動
在112上啟動Hadoop
start-all.sh
（6）在DataNode節(jié)點上創(chuàng)建響應的目錄

新聞名稱：HDFS（NameNode）的聯(lián)盟：Federation
文章起源：http://muchs.cn/article46/jpepeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應式網(wǎng)站、、手機網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、網(wǎng)站策劃、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站制作