本篇內容介紹了“hadoop的RM與NM相關參數(shù)有哪些”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
讓客戶滿意是我們工作的目標,不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術通過有效、簡單的方式提供給客戶,將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴,公司提供的服務項目有:國際域名空間、網頁空間、營銷軟件、網站建設、長春網站維護、網站推廣。參數(shù)均需要在yarn-site.xml中配置:
1. ResourceManager相關配置參數(shù)
(1) yarn.resourcemanager.address
參數(shù)解釋:ResourceManager 對客戶端暴露的地址??蛻舳送ㄟ^該地址向RM提交應用程序,殺死應用程序等。
默認值:${yarn.resourcemanager.hostname}:8032
(2) yarn.resourcemanager.scheduler.address
參數(shù)解釋:ResourceManager 對ApplicationMaster暴露的訪問地址。ApplicationMaster通過該地址向RM申請資源、釋放資源等。
默認值:${yarn.resourcemanager.hostname}:8030
(3) yarn.resourcemanager.resource-tracker.address
參數(shù)解釋:ResourceManager 對NodeManager暴露的地址.。NodeManager通過該地址向RM匯報心跳,領取任務等。
默認值:${yarn.resourcemanager.hostname}:8031
(4) yarn.resourcemanager.admin.address
參數(shù)解釋:ResourceManager 對管理員暴露的訪問地址。管理員通過該地址向RM發(fā)送管理命令等。
默認值:${yarn.resourcemanager.hostname}:8033
(5) yarn.resourcemanager.webapp.address
參數(shù)解釋:ResourceManager對外web ui地址。用戶可通過該地址在瀏覽器中查看集群各類信息。
默認值:${yarn.resourcemanager.hostname}:8088
(6) yarn.resourcemanager.scheduler.class
參數(shù)解釋:啟用的資源調度器主類。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler。
默認值:
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
(7) yarn.resourcemanager.resource-tracker.client.thread-count
參數(shù)解釋:處理來自NodeManager的RPC請求的Handler數(shù)目。
默認值:50
(8) yarn.resourcemanager.scheduler.client.thread-count
參數(shù)解釋:處理來自ApplicationMaster的RPC請求的Handler數(shù)目。
默認值:50
(9) yarn.scheduler.minimum-allocation-mb/ yarn.scheduler.maximum-allocation-mb
參數(shù)解釋:單個可申請的最小/大內存資源量。比如設置為1024和3072,則運行MapRedce作業(yè)時,每個Task最少可申請1024MB內存,最多可申請3072MB內存。
默認值:1024/8192
(10) yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores
參數(shù)解釋:單個可申請的最小/大虛擬CPU個數(shù)。比如設置為1和4,則運行MapRedce作業(yè)時,每個Task最少可申請1個虛擬CPU,最多可申請4個虛擬CPU。什么是虛擬CPU,可閱讀我的這篇文章:“YARN 資源調度器剖析”。
默認值:1/32
(11) yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path
參數(shù)解釋:NodeManager黑白名單。如果發(fā)現(xiàn)若干個NodeManager存在問題,比如故障率很高,任務運行失敗率高,則可以將之加入黑名單中。注意,這兩個配置參數(shù)可以動態(tài)生效。(調用一個refresh命令即可)
默認值:“”
(12) yarn.resourcemanager.nodemanagers.heartbeat-interval-ms
參數(shù)解釋:NodeManager心跳間隔
默認值:1000(毫秒)
2. NodeManager相關配置參數(shù)
(1) yarn.nodemanager.resource.memory-mb
參數(shù)解釋:NodeManager總的可用物理內存。注意,該參數(shù)是不可修改的,一旦設置,整個運行過程中不 可動態(tài)修改。另外,該參數(shù)的默認值是8192MB,即使你的機器內存不夠8192MB,YARN也會按照這些內存來使用(傻不傻?),因此,這個值通過一 定要配置。不過,Apache已經正在嘗試將該參數(shù)做成可動態(tài)修改的。
默認值:8192
(2) yarn.nodemanager.vmem-pmem-ratio
參數(shù)解釋:在設置容器的內存限制時,虛擬內存與物理內存的比率。
默認值:2.1
(3) yarn.nodemanager.resource.cpu-vcores
參數(shù)解釋:NodeManager總的可用虛擬CPU個數(shù)。
默認值:8
(4) yarn.nodemanager.local-dirs
參數(shù)解釋:中間結果存放位置,類似于1.0中的mapred.local.dir。注意,這個參數(shù)通常會配置多個目錄,已分攤磁盤IO負載。
默認值:${hadoop.tmp.dir}/nm-local-dir
(5) yarn.nodemanager.log-dirs
參數(shù)解釋:日志存放地址(可配置多個目錄)。
默認值:${yarn.log.dir}/userlogs
(6) yarn.nodemanager.log.retain-seconds
參數(shù)解釋:NodeManager上日志最多存放時間(不啟用日志聚集功能時有效)。
默認值:10800(3小時)
(7) yarn.nodemanager.aux-services
參數(shù)解釋:NodeManager上運行的附屬服務。需配置成mapreduce_shuffle,才可運行MapReduce程序
默認值:“”
“hadoop的RM與NM相關參數(shù)有哪些”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)-成都網站建設公司網站,小編將為大家輸出更多高質量的實用文章!
當前標題:hadoop的RM與NM相關參數(shù)有哪些-創(chuàng)新互聯(lián)
轉載來于:http://muchs.cn/article2/csggic.html
成都網站建設公司_創(chuàng)新互聯(lián),為您提供品牌網站建設、網站改版、小程序開發(fā)、網站維護、移動網站建設、標簽優(yōu)化
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內容