hadoop的RM與NM相關參數(shù)有哪些

本篇內容介紹了“hadoop的RM與NM相關參數(shù)有哪些”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

創(chuàng)新互聯(lián)專注于高唐網(wǎng)站建設服務及定制，我們擁有豐富的企業(yè)做網(wǎng)站經驗。 熱誠為您提供高唐營銷型網(wǎng)站建設，高唐網(wǎng)站制作、高唐網(wǎng)頁設計、高唐網(wǎng)站官網(wǎng)定制、小程序設計服務，打造高唐網(wǎng)絡公司原創(chuàng)品牌,更為您提供高唐網(wǎng)站排名全網(wǎng)營銷落地服務。

 參數(shù)均需要在yarn-site.xml中配置：

1. ResourceManager相關配置參數(shù)

（1） yarn.resourcemanager.address

參數(shù)解釋：ResourceManager 對客戶端暴露的地址。客戶端通過該地址向RM提交應用程序，殺死應用程序等。

默認值：${yarn.resourcemanager.hostname}:8032

（2） yarn.resourcemanager.scheduler.address

參數(shù)解釋：ResourceManager 對ApplicationMaster暴露的訪問地址。ApplicationMaster通過該地址向RM申請資源、釋放資源等。

默認值：${yarn.resourcemanager.hostname}:8030

（3） yarn.resourcemanager.resource-tracker.address

參數(shù)解釋：ResourceManager 對NodeManager暴露的地址.。NodeManager通過該地址向RM匯報心跳，領取任務等。

默認值：${yarn.resourcemanager.hostname}:8031

（4） yarn.resourcemanager.admin.address

參數(shù)解釋：ResourceManager 對管理員暴露的訪問地址。管理員通過該地址向RM發(fā)送管理命令等。

默認值：${yarn.resourcemanager.hostname}:8033

（5） yarn.resourcemanager.webapp.address

參數(shù)解釋：ResourceManager對外web ui地址。用戶可通過該地址在瀏覽器中查看集群各類信息。

默認值：${yarn.resourcemanager.hostname}:8088

（6） yarn.resourcemanager.scheduler.class

參數(shù)解釋：啟用的資源調度器主類。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler。

默認值：

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

（7） yarn.resourcemanager.resource-tracker.client.thread-count

參數(shù)解釋：處理來自NodeManager的RPC請求的Handler數(shù)目。

默認值：50

（8） yarn.resourcemanager.scheduler.client.thread-count

參數(shù)解釋：處理來自ApplicationMaster的RPC請求的Handler數(shù)目。

默認值：50

（9） yarn.scheduler.minimum-allocation-mb/ yarn.scheduler.maximum-allocation-mb

參數(shù)解釋：單個可申請的最小/最大內存資源量。比如設置為1024和3072，則運行MapRedce作業(yè)時，每個Task最少可申請1024MB內存，最多可申請3072MB內存。

默認值：1024/8192

（10） yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores

參數(shù)解釋：單個可申請的最小/最大虛擬CPU個數(shù)。比如設置為1和4，則運行MapRedce作業(yè)時，每個Task最少可申請1個虛擬CPU，最多可申請4個虛擬CPU。什么是虛擬CPU，可閱讀我的這篇文章：“YARN 資源調度器剖析”。

默認值：1/32

（11） yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path

參數(shù)解釋：NodeManager黑白名單。如果發(fā)現(xiàn)若干個NodeManager存在問題，比如故障率很高，任務運行失敗率高，則可以將之加入黑名單中。注意，這兩個配置參數(shù)可以動態(tài)生效。（調用一個refresh命令即可）

默認值：“”

（12） yarn.resourcemanager.nodemanagers.heartbeat-interval-ms

參數(shù)解釋：NodeManager心跳間隔

默認值：1000（毫秒）

2. NodeManager相關配置參數(shù)

（1） yarn.nodemanager.resource.memory-mb

參數(shù)解釋：NodeManager總的可用物理內存。注意，該參數(shù)是不可修改的，一旦設置，整個運行過程中不 可動態(tài)修改。另外，該參數(shù)的默認值是8192MB，即使你的機器內存不夠8192MB，YARN也會按照這些內存來使用（傻不傻？），因此，這個值通過一 定要配置。不過，Apache已經正在嘗試將該參數(shù)做成可動態(tài)修改的。

默認值：8192

（2） yarn.nodemanager.vmem-pmem-ratio

參數(shù)解釋：在設置容器的內存限制時，虛擬內存與物理內存的比率。

默認值：2.1

（3） yarn.nodemanager.resource.cpu-vcores

參數(shù)解釋：NodeManager總的可用虛擬CPU個數(shù)。

默認值：8

（4） yarn.nodemanager.local-dirs

參數(shù)解釋：中間結果存放位置，類似于1.0中的mapred.local.dir。注意，這個參數(shù)通常會配置多個目錄，已分攤磁盤IO負載。

默認值：${hadoop.tmp.dir}/nm-local-dir

（5） yarn.nodemanager.log-dirs

參數(shù)解釋：日志存放地址（可配置多個目錄）。

默認值：${yarn.log.dir}/userlogs

（6） yarn.nodemanager.log.retain-seconds

參數(shù)解釋：NodeManager上日志最多存放時間（不啟用日志聚集功能時有效）。

默認值：10800（3小時）

（7） yarn.nodemanager.aux-services

參數(shù)解釋：NodeManager上運行的附屬服務。需配置成mapreduce_shuffle，才可運行MapReduce程序

默認值：“”

“hadoop的RM與NM相關參數(shù)有哪些”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質量的實用文章！

當前名稱：hadoop的RM與NM相關參數(shù)有哪些
本文網(wǎng)址：http://muchs.cn/article12/isjgdc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、用戶體驗、微信小程序、動態(tài)網(wǎng)站、營銷型網(wǎng)站建設、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)