hadoop中slot簡介（mapslot和reduceslot）

Slots是Hadoop的一個(gè)重要概念。然而在Hadoop相關(guān)論文，slots的闡述難以理解。網(wǎng)上關(guān)于slots的概念介紹也很少，而對(duì)于一個(gè)有經(jīng)驗(yàn)的Hadoop開發(fā)者來說，他們可能腦子里已經(jīng)理解了slots的真正含義，但卻難以清楚地表達(dá)出來，Hadoop初學(xué)者聽了還是云里霧里。我來嘗試講解一下，以期拋磚引玉。

公司主營業(yè)務(wù)：成都網(wǎng)站建設(shè)、做網(wǎng)站、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競(jìng)爭(zhēng)能力。成都創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)推出城區(qū)免費(fèi)做網(wǎng)站回饋大家。

首先，slot不是CPU的Core，也不是memory chip，它是一個(gè)邏輯概念，一個(gè)節(jié)點(diǎn)的slot的數(shù)量用來表示某個(gè)節(jié)點(diǎn)的資源的容量或者說是能力的大小，因而slot是 Hadoop的資源單位。

Hadoop利用slots來管理分配節(jié)點(diǎn)的資源。每個(gè)Job申請(qǐng)資源以slots為單位，每個(gè)節(jié)點(diǎn)會(huì)確定自己的計(jì)算能力以及memory確定自己包含的slots總量。當(dāng)某個(gè)Job要開始執(zhí)行時(shí)，先向JobTracker申請(qǐng)slots，JobTracker分配空閑的slots，Job再占用slots，Job結(jié)束后，歸還slots。每個(gè)TaskTracker定期（例如淘寶Hadoop心跳周期是5s）通過心跳(hearbeat)與Jobtracker通信，一方面匯報(bào)自己當(dāng)前工作狀態(tài)，JobTracker得夠某個(gè)TaskTracker是否Alive；同時(shí)匯報(bào)自身空閑slots數(shù)量。JobTracker利用某個(gè)調(diào)度規(guī)則，如Hadoop默認(rèn)調(diào)度器FIFO或者Capacity Scheduler、FairScheduler等。（注：淘寶Hadoop使用云梯調(diào)度器YuntiScheuler，它是基于Fair Scheduler進(jìn)行修改的）。

Hadoop里有 兩種slots, map slots和reduce slots，map task使用map slots，一一對(duì)應(yīng)，reduce task使用reduce slots。注： 現(xiàn)在越來越多的觀點(diǎn)認(rèn)為應(yīng)該打破map slots與 reduce slots的界限，應(yīng)該被視為統(tǒng)一的資源池，they are all resource，從而提高資源的利用率。區(qū)分map slots和reduce slots，容易導(dǎo)致某一種資源緊張，而另一個(gè)資源卻有空閑。在Hadoop的下一代框架MapR中，已經(jīng)取消了map slots與reduce slots的概念，并將Jobtracker的功能一分為二，用ResourceManager來管理節(jié)點(diǎn)資源，用ApplicationMaster來監(jiān)控與調(diào)度作業(yè)。ApplicationMaster是每個(gè)Application都有一個(gè)單獨(dú)的實(shí)例，application是用戶提交的一組任務(wù)，它可以是一個(gè)或多個(gè)job的任務(wù)組成。

Hadoop中通常每個(gè)tasktracker會(huì)包含多個(gè)slots，Job的一個(gè)task均對(duì)應(yīng)于tasktracker中的一個(gè)slot。系統(tǒng)中map slots總數(shù)與reducer slots總數(shù)的計(jì)算公式如下：

Map slots總數(shù)=集群節(jié)點(diǎn)數(shù)×mapred.tasktracker.map.tasks.maximum

Reducer slots總數(shù)=集群節(jié)點(diǎn)數(shù)×mapred.tasktracker.reduce.tasks.maximum

分享名稱：hadoop中slot簡介（mapslot和reduceslot）
當(dāng)前地址：http://muchs.cn/article46/pgojeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、網(wǎng)站改版、用戶體驗(yàn)、云服務(wù)器、Google、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)