Yarn流程、Yarn與MapReduce1相比-創(chuàng)新互聯(lián)

[TOC]

成都創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供色尼網(wǎng)站建設(shè)、色尼做網(wǎng)站、色尼網(wǎng)站設(shè)計、色尼網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、色尼企業(yè)網(wǎng)站模板建站服務(wù)，10余年色尼做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡(luò)服務(wù)。

---

Yarn流程

可以參考《Hadoop權(quán)威指南》P79中的圖示與介紹進行理解，當然結(jié)合下面這個圖示與其中的解釋進行理解則會更加清晰易懂，當然，基本的參考個人覺得書本上的圖示要更精簡，下面這個可以說是其詳細版：

1) 用戶向YARN 中提交應(yīng)用程序， 其中包括ApplicationMaster 程序、啟動ApplicationMaster 的命令、用戶程序等。

2) ResourceManager 為該應(yīng)用程序分配第一個Container， 并與對應(yīng)的NodeManager 通信，要求它在這個Container 中啟動應(yīng)用程序的ApplicationMaster。

3) ApplicationMaster 首先向ResourceManager 注冊， 這樣用戶可以直接通過ResourceManage 查看應(yīng)用程序的運行狀態(tài)，然后它將為各個任務(wù)申請資源，并監(jiān)控它的運行狀態(tài)，直到運行結(jié)束，即重復(fù)步驟4~7。

4) ApplicationMaster 采用輪詢的方式通過RPC 協(xié)議向ResourceManager 申請和領(lǐng)取資源。

5) 一旦ApplicationMaster 申請到資源后，便與對應(yīng)的NodeManager 通信，要求它啟動任務(wù)。

6) NodeManager 為任務(wù)設(shè)置好運行環(huán)境（包括環(huán)境變量、JAR 包、二進制程序等）后，將任務(wù)啟動命令寫到一個腳本中，并通過運行該腳本啟動任務(wù)。

7) 各個任務(wù)通過某個RPC 協(xié)議向ApplicationMaster 匯報自己的狀態(tài)和進度，以讓ApplicationMaster 隨時掌握各個任務(wù)的運行狀態(tài)，從而可以在任務(wù)失敗時重新啟動任務(wù)。在應(yīng)用程序運行過程中，用戶可隨時通過RPC 向ApplicationMaster 查詢應(yīng)用程序的當前運行狀態(tài)。

8) 應(yīng)用程序運行完成后，ApplicationMaster 向ResourceManager 注銷并關(guān)閉自己。

Yarn與MapReduce 1相比

MapReduce 1	Yarn
Jobtracker	ResourceManager、Application Master、TimeLine Server
Trasktracker	NodeManager、
Slot	Container

TimeLine Server即時間軸服務(wù)器，用來記錄歷史作業(yè)。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文題目：Yarn流程、Yarn與MapReduce1相比-創(chuàng)新互聯(lián)
文章鏈接：http://muchs.cn/article44/dspjee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗、微信小程序、做網(wǎng)站、自適應(yīng)網(wǎng)站、手機網(wǎng)站建設(shè)、虛擬主機

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)