好程序員大數(shù)據(jù)學(xué)習(xí)路線分享Hadoop階段的高可用配置-創(chuàng)新互聯(lián)

大數(shù)據(jù)學(xué)習(xí)路線分享Hadoop階段的高可用配置，什么是Hadoop的HA機(jī)制

創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比卓資網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式卓資網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋卓資地區(qū)。費(fèi)用合理售后完善，十載實(shí)體公司更值得信賴。

Ha機(jī)制即Hadoop的高可用（7*24小時(shí)不中斷服務(wù)）

正式引入HA機(jī)制是從hadoop2.0開(kāi)始，之前的版本中沒(méi)有HA機(jī)制

hadoop-ha嚴(yán)格來(lái)說(shuō)應(yīng)該分成各個(gè)組件的HA機(jī)制——HDFS的HA、YARN的HA

HDFS的HA機(jī)制詳解
HDFS 的HA主要是通過(guò)雙namenode協(xié)調(diào)工作實(shí)現(xiàn)

雙namenode協(xié)調(diào)工作的要點(diǎn)：
A、元數(shù)據(jù)管理方式需要改變：

內(nèi)存中各自保存一份元數(shù)據(jù)

Edits日志只能有一份，只有Active狀態(tài)的namenode節(jié)點(diǎn)可以做寫(xiě)操作

兩個(gè)namenode都可以讀取edits

共享的edits放在一個(gè)共享存儲(chǔ)中管理（qjournal和NFS兩個(gè)主流實(shí)現(xiàn)）

B、需要一個(gè)狀態(tài)管理功能模塊

實(shí)現(xiàn)了一個(gè)zkfailover，常駐在每一個(gè)namenode所在的節(jié)點(diǎn)

每一個(gè)zkfailover負(fù)責(zé)監(jiān)控自己所在namenode節(jié)點(diǎn)，利用zk進(jìn)行狀態(tài)標(biāo)識(shí)

當(dāng)需要進(jìn)行狀態(tài)切換時(shí)，由zkfailover來(lái)負(fù)責(zé)切換

切換時(shí)需要防止brain split腦裂現(xiàn)象的發(fā)生

Namenode的運(yùn)行原理
兩臺(tái)服務(wù)器上都存在一個(gè)namenode ，其中一臺(tái)Namenode 處于active狀態(tài)，一臺(tái)處于standby狀態(tài)，兩臺(tái)服務(wù)器數(shù)據(jù)共享，兩臺(tái)服務(wù)器各自存有一份元數(shù)據(jù)，但是edit數(shù)據(jù)只有一份，兩臺(tái)服務(wù)器只有處于active狀態(tài)的namenode服務(wù)器可以對(duì)edit進(jìn)行寫(xiě)操作，另一臺(tái)服務(wù)器只能對(duì)edit進(jìn)行讀操作，而共享的edit放到一個(gè)共享存儲(chǔ)中進(jìn)行管理。共享存儲(chǔ)由文件管理系統(tǒng)qjournal和NFS來(lái)實(shí)現(xiàn)。

而兩臺(tái)服務(wù)器的active standby狀態(tài)如何管理，則需要一個(gè)管理模塊：ZKFC (zookeeper failover controller) 來(lái)管理。每一個(gè)zkfc負(fù)責(zé)監(jiān)控自己所在namenode節(jié)點(diǎn)，利用zk進(jìn)行狀態(tài)標(biāo)識(shí)。當(dāng)需要進(jìn)行狀態(tài)切換時(shí)，由zkfailover來(lái)負(fù)責(zé)切換

切換時(shí)需要防止brain split腦裂現(xiàn)象的發(fā)生。
什么是腦裂現(xiàn)象

腦裂現(xiàn)象就是兩臺(tái)namenode都處于active狀態(tài)，產(chǎn)生沖突，這就是腦裂。Hadoop的高可用配置要注意解決腦裂狀態(tài)。

腦裂狀態(tài)如何產(chǎn)生

當(dāng)一臺(tái)active狀態(tài)的namenode服務(wù)器處于假死狀態(tài)，那么另一臺(tái)namenode服務(wù)器的zkfc收到信息，把屬于他的namenode狀態(tài)改變?yōu)閍ctive狀態(tài)，第一臺(tái)處于假死狀態(tài)的namdenode又醒過(guò)來(lái)，就會(huì)產(chǎn)生腦裂。

腦裂如何解決
第二臺(tái)namenode的zkfc此時(shí)就會(huì)一不做二不休，把第一臺(tái)處于假死狀態(tài)的namenode殺掉 運(yùn)用ssh kill -9 namenode ,直接殺掉第一臺(tái)服務(wù)器的namenode進(jìn)行補(bǔ)刀，如果補(bǔ)刀不成功的話，zkfc進(jìn)入第一臺(tái)服務(wù)器，直接調(diào)用用戶的自定義腳本程序 /home/Hadoop/kill/poweroff.sh 殺-掉假-死的namenode。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站名稱：好程序員大數(shù)據(jù)學(xué)習(xí)路線分享Hadoop階段的高可用配置-創(chuàng)新互聯(lián)
轉(zhuǎn)載來(lái)于：http://muchs.cn/article4/pegoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗(yàn)、自適應(yīng)網(wǎng)站、小程序開(kāi)發(fā)、移動(dòng)網(wǎng)站建設(shè)、虛擬主機(jī)、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)