大快搜索大數(shù)據(jù)運(yùn)維管理平臺深度解析

之前幾周的時(shí)間一直是在圍繞DKhadoop的運(yùn)行環(huán)境搭建寫分享，有一些朋友留言索要了dkhadoop安裝包，不知道有沒有去下載安裝一探究竟。關(guān)于DKHadoop下載安裝基本已經(jīng)講清楚了，這幾天有點(diǎn)空閑把大快DKM大數(shù)據(jù)運(yùn)維管理平臺的內(nèi)容整理了一些，作為DKHadoop相配套的管理平臺，是有必要對DKM有所了解的。

創(chuàng)新互聯(lián)建站服務(wù)項(xiàng)目包括海拉爾網(wǎng)站建設(shè)、海拉爾網(wǎng)站制作、海拉爾網(wǎng)頁制作以及海拉爾網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，海拉爾網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到海拉爾省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

DKM 是DKHadoop管理平臺。作為大數(shù)據(jù)平臺端到端Apache Hadoop 的管理應(yīng)用，DKM 對 DKH 的每個(gè)部件都提供了細(xì)粒度的可視化和控制。通過DKM ，運(yùn)維人員是可以提高集群的性能，提升服務(wù)質(zhì)量，提高合規(guī)性并降低管理成本。

DKM 設(shè)計(jì)的目的是為了使得對于企業(yè)數(shù)據(jù)中心的管理變得簡單和直觀。通過DKM ，可以方便地部署，并且集中式的操作完整的大數(shù)據(jù)軟件棧。該應(yīng)用軟件會(huì)自動(dòng)化安裝過程，從而減少了部署集群的時(shí)間。通過DKM 可以提供一個(gè)集群范圍內(nèi)的節(jié)點(diǎn)實(shí)時(shí)運(yùn)行狀態(tài)視圖。同時(shí)，還提供了一個(gè)中央控制臺，可以用于配置集群。總結(jié)DKM能夠提供的功能主要有以下幾點(diǎn)：

1.自動(dòng)化Hadoop 安裝過程，大幅縮短部署時(shí)間；

2.提供實(shí)時(shí)的集群概況，例如節(jié)點(diǎn)，服務(wù)的運(yùn)行狀況；

3.提供了集中的中央控制臺對集群的配置進(jìn)行更改；

4.包含全面的報(bào)告和診斷工具，幫助優(yōu)化性能和利用率；

 基本功能：DKM的基本功能主要可以分為四大模塊：管理功能，監(jiān)控功能，診斷功能和集成功能。本篇我們就先來看以下管理功能：

1、批量部署

我們都知道Hadoop 本身是一個(gè)分布式的系統(tǒng)，因此在安裝時(shí)，需要對每一個(gè)節(jié)點(diǎn)進(jìn)行組件的安裝，并且由于是開源軟件，其安裝過程相對比較復(fù)雜，Hadoop 每個(gè)組件都需要做很多的配置工作，這一點(diǎn)相信各位深有體會(huì)。DKH 提供了DKM 來自動(dòng)化安裝部署Hadoop 。 大大縮短了Hadoop 的安裝時(shí)間，同時(shí)也簡化了安裝Hadoop 的過程。（DKHADOOP安裝步驟請參考此前分享的文章）

自動(dòng)化安裝的過程如下：

1.安裝環(huán)境準(zhǔn)備，下載DKM 以及DKH 的安裝文件，安裝JDK，yum 等基本軟件。

2.挑選一臺節(jié)點(diǎn)，安裝DKM ，用戶只需要啟動(dòng)安裝腳本即可，通常情況下幾分鐘就能夠完成。

3.DKM 是一個(gè)web 應(yīng)用，提供了基于瀏覽器的界面，用戶可以通過瀏覽器可視化的進(jìn)行DKH的安裝部署。

4.通過DKM 界面，添加其他需要的安裝的節(jié)點(diǎn)，選擇要安裝的Hadoop 組件，以及每個(gè)節(jié)點(diǎn)承擔(dān)的角色，選擇安裝，DKM 會(huì)自動(dòng)地將需要安裝的軟件分發(fā)到對應(yīng)的節(jié)點(diǎn)，并完成安裝。

5.當(dāng)所有節(jié)點(diǎn)的軟件都安裝完成之后，DKM 會(huì)啟動(dòng)所有的服務(wù)。從上述的安裝過程可以看出DKH 的安裝主要體現(xiàn)兩個(gè)特點(diǎn)，批量化以及自動(dòng)化。只需要在其中一個(gè)節(jié)點(diǎn)完成，其他節(jié)點(diǎn)都可以進(jìn)行批量化的自動(dòng)安裝。

2、集群配置

（1）可視化參數(shù)配置界面

Hadoop 包含許多的組件，不同的組件都包含各種各樣的配置， 并且分布于不同的主機(jī)之上。 DKM 針對這種情況提供了界面化的參數(shù)配置功能，并且能夠自動(dòng)的部署到每個(gè)節(jié)點(diǎn)。

（2）高可靠配置

DKM 對關(guān)鍵的組件使用HA部署方案，避免單點(diǎn)失效的發(fā)生，同時(shí)DKH 對于組件的異常錯(cuò)誤提供了自動(dòng)恢復(fù)處理，最大限度的保證服務(wù)的可靠性。

（3）HDFS 高可靠

在標(biāo)準(zhǔn)配置中，NameNode 是HDFS群集中的單點(diǎn)故障（SPOF）。每個(gè)群集都具有一個(gè)NameNode ，如果機(jī)器或進(jìn)程變?yōu)椴豢捎茫杭w將變?yōu)椴豢捎?，直到NameNode 在新主機(jī)上重新啟動(dòng)或上線。Secondary NameNode 不提供故障轉(zhuǎn)移功能。 為了讓“備用” NameNode 的狀態(tài)與“活動(dòng)”NameNode 在此實(shí)施中保持同步，兩個(gè)節(jié)點(diǎn)均與一組名為JournalNode 的獨(dú)立后臺程序進(jìn)行通信。由“活動(dòng)”NameNode 執(zhí)行任何Namespace 修改時(shí)，它會(huì)持續(xù)記錄其中大部分JournalNode 的修改記錄。 “備用”NameNode 能夠從JournalNode 讀取編輯操作，并不斷監(jiān)視它們以了解編輯日志發(fā)生的更改。當(dāng)備用節(jié)點(diǎn)發(fā)現(xiàn)編輯操作時(shí)，它會(huì)將這些編輯應(yīng)用于自己的Namespace 。在發(fā)生故障轉(zhuǎn)移時(shí)，備用節(jié)點(diǎn)將確保首先從JournalNode 讀取所有的編輯操作，然后才會(huì)將自己升級為“活動(dòng)狀態(tài)”。這確保了再發(fā)生故障轉(zhuǎn)移之前完全同步Namespace 狀態(tài)。

為了提供快速故障轉(zhuǎn)移，備用NameNode 還需要擁有有關(guān)群集中的塊位置的最新信息。為實(shí)現(xiàn)這一目的，DataNode 配置了這兩個(gè)NameNode的位置，它們會(huì)將這塊位置信息和檢測信號發(fā)送給這兩個(gè)NameNode。

一次只能有其中一個(gè)NameNode 處于活動(dòng)狀態(tài)，這一點(diǎn)對于HA群集的正常運(yùn)行來說至關(guān)重要。否則，Namespace 狀態(tài)會(huì)在兩者之間快速出現(xiàn)分歧，從而導(dǎo)致數(shù)據(jù)丟失風(fēng)險(xiǎn)或其他不正確的結(jié)果。為了確保此屬性并防止所謂的“大腦分裂狀況”，JournalNode 一次只允許一個(gè)NameNode 成為寫入程序。在故障轉(zhuǎn)移過程中，要進(jìn)入“活動(dòng)”狀態(tài)的NameNode 將接管JournalNode的寫入角色，這會(huì)有效地阻止其它NameNode繼續(xù)保持“活動(dòng)”狀態(tài)，使得新的“活動(dòng)”NameNode可以安全地繼續(xù)執(zhí)行故障轉(zhuǎn)移。

DKH 默認(rèn)開啟了HA . 用戶不用擔(dān)心此問題。

（4）YARN 高可靠

YARN ResourceManager(RM) 負(fù)責(zé)跟蹤群集中的資源并安排應(yīng)用程序（例如，MapReduce作業(yè)）。RM 高可用性（HA）功能以活動(dòng)/待機(jī) RM 對形式添加冗余，以刪除此單點(diǎn)故障。此外，在從待機(jī)RM 到活動(dòng)RM 進(jìn)行故障轉(zhuǎn)移時(shí)，應(yīng)用程序可以從其上次檢查點(diǎn)狀態(tài)恢復(fù)； 例如，在MapReduce 作業(yè)中完成的map 任務(wù)不在后續(xù)的嘗試中重新運(yùn)行。這樣可以在不對運(yùn)行中的應(yīng)用程序產(chǎn)生任何重要性能影響的情況下，處理以下事件：

計(jì)劃外事件，如計(jì)算機(jī)崩潰。

計(jì)劃內(nèi)維護(hù)事件，如在運(yùn)行ResourceManager的計(jì)算機(jī)上進(jìn)行的軟件或硬件升級。

RM HA 要求Zookeeper 和HDFS 服務(wù)處于運(yùn)行狀態(tài)。RM HA 通過活動(dòng)-待機(jī)RM 對的方式實(shí)施。啟動(dòng)時(shí)，每個(gè)RM 處于待機(jī)狀態(tài)；啟動(dòng)過程，但未加載狀態(tài)。轉(zhuǎn)換到活動(dòng)狀態(tài)時(shí)，RM會(huì)從指定的狀態(tài)存儲加載內(nèi)部狀態(tài)，并啟動(dòng)所有內(nèi)部服務(wù)。 管理員（通過CLI）或通過集成的故障轉(zhuǎn)移控制器（啟用自動(dòng)故障轉(zhuǎn)移時(shí)）可促進(jìn)轉(zhuǎn)換為活動(dòng)狀態(tài)。

DKH 默認(rèn)開啟了Resource Manager HA 。用戶不需要擔(dān)心。

3、權(quán)限管理

對系統(tǒng)管理員，數(shù)據(jù)庫管理員及其他管理員必須授予不同級別的管理權(quán)限。

新聞標(biāo)題：大快搜索大數(shù)據(jù)運(yùn)維管理平臺深度解析
文章來源：http://muchs.cn/article18/gphigp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站營銷、、營銷型網(wǎng)站建設(shè)、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)