haoop任務(wù)失敗，修改代碼設(shè)置解決問題

一、跑etl任務(wù)，報錯：
Container [pid=31306,containerID=container_1479290736535_0004_01_000003] is running beyond physical memory limits. Current usage: 2.7 GB of 2.5 GB physical memory used; 4.4 GB of 7.5 GB virtual memory used. Killing container.

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),大理州企業(yè)網(wǎng)站建設(shè),大理州品牌網(wǎng)站建設(shè),網(wǎng)站定制,大理州網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,大理州網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。

發(fā)現(xiàn)是一個小時任務(wù)打開了太多文件（大約7000多個，每個進(jìn)程占用的buffer太多，導(dǎo)致內(nèi)存不足）

解決辦法：
修改程序設(shè)置，
"orc.strip.size":1024*1024,
"orc.block.size":16*1024*1024,
"orc.row.index.stride":500,
"orc.compress.size":8*1024,

二、nodemanager自動關(guān)閉又恢復(fù)的問題：
2016-08-19 14:57:19,027 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/amos/data/hadoop/yarn-local error, used space above threshold of 90.0%, removing from list of valid directories
2016-08-19 14:57:19,027 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/amos/data/hadoop/yarn-log error, used space above threshold of 90.0%, removing from list of valid directories

10分鐘后nodemanager又恢復(fù)了，什么問題呢？
[root@~]# vim /opt/amos/conf/hadoop/yarn-site.xml 
<property>
<description>Interval in between cache cleanups.</description>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>600000</value>
</property>

本地磁盤才30G，yarn的cache設(shè)置為40G，導(dǎo)致問題出現(xiàn)。
[root@~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 30G 25G 3.9G 87% /

解決方法：把yarn的緩存設(shè)置為20G
[root@~]# vim /opt/amos/conf/hadoop/yarn-site.xml 
<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>20480</value>
</property>

三、hadoop 反復(fù)提交任務(wù)，但是失敗，原因是需要將map和reduce使用的內(nèi)存大小修改為jvm的1.5倍數(shù)

mapred.child.java.opts -Xmx2048M -Xms8M             2048*1.5=3172

mapreduce.map.memory.mb 1536 mapred-site.xml     改為3172

mapreduce.reduce.memory.mb 2048                         改為3172

網(wǎng)頁標(biāo)題：haoop任務(wù)失敗，修改代碼設(shè)置解決問題
分享URL：http://www.muchs.cn/article4/gjggie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊、響應(yīng)式網(wǎng)站、微信公眾號、網(wǎng)站營銷、企業(yè)建站、網(wǎng)站導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)