進(jìn)入到執(zhí)行:/soft/hadoop-2.7.1/etc/hadoop_cluster$ gedit hdfs-site.xml
站在用戶的角度思考問題,與客戶深入溝通,找到巴州網(wǎng)站設(shè)計(jì)與巴州網(wǎng)站推廣的解決方案,憑借多年的經(jīng)驗(yàn),讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合,創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品,建站類型包括:成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、申請(qǐng)域名、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋巴州地區(qū)。[配置部分]
[hdfs-site.xml]
1.配置名稱服務(wù):dfs.nameservices
名稱服務(wù)的邏輯名。
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
2.配置nameservice中每個(gè)namenode
dfs.ha.namenodes.[nameservice ID]
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
注意:目前的hadoop2.7.2最多只能配置2個(gè)namenode。
3.配置每個(gè)namede的rpc地址
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>s1:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>s8:8020</value>
</property>
4.配置每個(gè)namenode的webui地址
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>machine1.example.com:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>machine2.example.com:50070</value>
</property>
5.配置namenode的共享edit log目錄
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://s1:8485;s7:8485;s8:8485/mycluster</value>
</property>
6.配置客戶端容災(zāi)代理供應(yīng)商類
供客戶端用來檢測(cè)那個(gè)是namenode是活頁節(jié)點(diǎn)。
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
7.(可選的)配置HA防護(hù)方法名集合.
QJM防止腦裂發(fā)生,不存在兩個(gè)active node。
可以配置sshfence或者shell腳本。
8.配置hdfs的文件系統(tǒng)
[core-site.xml]
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
9.配置JN的本地存放數(shù)據(jù)(edit log)的目錄
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/ubuntu/hadoop/journal</value>
</property>
2、把core-site.xml文件的客戶機(jī)名改成如下再頒發(fā)給每個(gè)虛擬機(jī):<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
3、然后回到hdfs-site.xml里面把<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>刪掉。同樣頒發(fā)給每個(gè)虛擬機(jī)
4、接下來啟動(dòng)jn進(jìn)程即:hadoop-daemon.sh starat journalnode
(我是在s1、s7和s8上分別啟動(dòng)journalnode進(jìn)程。我一共八臺(tái)虛擬機(jī))
5、將s1的hadoop目錄下的 dfs拷貝到s8中。即執(zhí)行:scp -r dfs ubuntu@s8:/home/ubuntu/hadoop
6、在開啟一個(gè)namenode節(jié)點(diǎn)的情況下,登錄:ssh s8的虛擬機(jī)上執(zhí)行hdfs namenode -bootstrapStandby
7、再停止namenode節(jié)點(diǎn),然后 在s1虛擬機(jī)上執(zhí)行:hdfs namenode -initializeSharedEdits
8、分別在s1和s8上啟動(dòng)namenode即:執(zhí)行hadoop-daemno.sh start namenode
9、最后啟動(dòng)所有的數(shù)據(jù)節(jié)點(diǎn):hadoop-daemons.sh start datanode (hadoop-daemons.sh是啟動(dòng)所有的節(jié)點(diǎn))
管理ha過程
1、手動(dòng)完成狀態(tài)切換:
hdfs haadmin -transitionToActive nn1
hdfs haadmin -transitionToStandbby nn1
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
分享名稱:HADOOP的HA搭建-創(chuàng)新互聯(lián)
轉(zhuǎn)載來源:http://muchs.cn/article20/dpjcjo.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化、網(wǎng)站設(shè)計(jì)公司、品牌網(wǎng)站設(shè)計(jì)、建站公司、軟件開發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容