Hadoop2.0中的CDH4MR如何配置

這篇文章主要為大家展示了“Hadoop 2.0中的CDH4 MR如何配置”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Hadoop 2.0中的CDH4 MR如何配置”這篇文章吧。

只為您設(shè)計(jì)更接底氣、較有營(yíng)銷力的好網(wǎng)站，將營(yíng)銷策劃與網(wǎng)頁設(shè)計(jì)互相結(jié)合的專業(yè)機(jī)構(gòu)，成都營(yíng)銷網(wǎng)站建設(shè)公司中較早掌握H5技術(shù)技術(shù)的機(jī)構(gòu)。一個(gè)好的高端網(wǎng)站設(shè)計(jì)，不能只是一張名片，茫茫網(wǎng)海，想要快速吸引到您客戶的眼球，必須全方位的展現(xiàn)出企業(yè)突出的優(yōu)勢(shì)，以求達(dá)到主動(dòng)營(yíng)銷的效果，最終促成成交！

MR1

cdh不建議使用MRv2.0作為生產(chǎn)環(huán)境，故依舊提供了mr1的包

mr1-2.0.0-mr1-cdh5.1.2.tar.gz

解壓后copy至原h(huán)adoop路徑，有如下文件沖突：

[root@h011171 ~]# cp -r hadoop-2.0.0-cdh5.1.2/* /usr/local/hadoop/ cp: overwrite `/usr/local/hadoop/bin/rcc’? y cp: overwrite `/usr/local/hadoop/bin/hadoop’? y cp: overwrite `/usr/local/hadoop/cloudera/cdh_version.properties’? y cp: overwrite `/usr/local/hadoop/cloudera/apply-patches’? y cp: overwrite `/usr/local/hadoop/cloudera/build.properties’? y cp: overwrite `/usr/local/hadoop/cloudera/CHANGES.cloudera.txt’? y

均覆蓋即可

基本兼容cdh4 mr1的所有mapreduce配置，包括公平調(diào)度器/hadoop acl權(quán)限設(shè)置，

使用

./bin/start-mapred.sh ./bin/stop-mapred.sh

監(jiān)控調(diào)度界面同原CDH3

MR2(YARN)

MRv2最基本的設(shè)計(jì)思想是將JobTracker的兩個(gè)主要功能，即資源管理和作業(yè)調(diào)度/監(jiān)控分成兩個(gè)獨(dú)立的進(jìn)程。在該解決方案中包含兩個(gè)組件：全局的ResourceManager（RM）和與每個(gè)應(yīng)用相關(guān)的ApplicationMaster（AM）。這里的“應(yīng)用”指一個(gè)單獨(dú)的MapReduce作業(yè)或者DAG作業(yè)。RM和與NodeManager（NM，每個(gè)節(jié)點(diǎn)一個(gè)）共同組成整個(gè)數(shù)據(jù)計(jì)算框架。RM是系統(tǒng)中將資源分配給各個(gè)應(yīng)用的最終決策者。AM實(shí)際上是一個(gè)具體的框架庫，它的任務(wù)是【與RM協(xié)商獲取應(yīng)用所需資源】和【與NM合作，以完成執(zhí)行和監(jiān)控task的任務(wù)】。

架構(gòu)描述如下：

配置

mapred-site.xml配置

<!&ndash; YARN &ndash;>   <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>h011200.hebe.grid.sina.com.cn:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>h011200.hebe.grid.sina.com.cn:19888</value> </property>

yarn-site.xml配置

<property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>h011200.hebe.grid.sina.com.cn:8031</value> </property> <property> <name>yarn.resourcemanager.address</name>                # RMtracker地址意同jobtrakcer <value>h011200.hebe.grid.sina.com.cn:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name>     # RMscheduler地址意同mv1的jobscheduler <value>h011200.hebe.grid.sina.com.cn:8030</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>h011200.hebe.grid.sina.com.cn:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name>  #RM Web地址同mr1 默認(rèn)的50030 <value>h011200.hebe.grid.sina.com.cn:8088</value> </property>    <property>  <description>Classpath for typical applications.</description> <name>yarn.application.classpath</name> <value> $HADOOP_CONF_DIR, $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*, $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*, $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*, $YARN_HOME/*,$YARN_HOME/lib/* </value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce.shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <value>/data1/hadoop/data/yarn/local</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <value>/data1/hadoop/data/yarn/log</value> </property> <property> <description>Where to aggregate logs</description> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/var/log/hadoop-yarn/apps</value> </property>    <property> <name>yarn.app.mapreduce.am.staging-dir</name> <value>/user</value> </property>

啟動(dòng)

./sbin/start-yarn.sh

會(huì)啟動(dòng)本地RM及遠(yuǎn)程N(yùn)M

./sbin/mr-jobhistory-daemon.sh start historyserver

啟動(dòng)本地historyserver

RM界面

Job history界面

以上是“Hadoop 2.0中的CDH4 MR如何配置”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

名稱欄目：Hadoop2.0中的CDH4MR如何配置
當(dāng)前網(wǎng)址：http://muchs.cn/article34/gppose.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、App開發(fā)、自適應(yīng)網(wǎng)站、軟件開發(fā)、網(wǎng)站策劃、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)