怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

本篇內(nèi)容主要講解“怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序”吧!

主要從事網(wǎng)頁設(shè)計(jì)、PC網(wǎng)站建設(shè)（電腦版網(wǎng)站建設(shè)）、wap網(wǎng)站建設(shè)（手機(jī)版網(wǎng)站建設(shè)）、自適應(yīng)網(wǎng)站建設(shè)、程序開發(fā)、微網(wǎng)站、重慶小程序開發(fā)等，憑借多年來在互聯(lián)網(wǎng)的打拼，我們?cè)诨ヂ?lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站建設(shè)、網(wǎng)絡(luò)營(yíng)銷經(jīng)驗(yàn)，集策劃、開發(fā)、設(shè)計(jì)、營(yíng)銷、管理等多方位專業(yè)化運(yùn)作于一體，具備承接不同規(guī)模與類型的建設(shè)項(xiàng)目的能力。

前提：

1.我使用的hadoop是hadoop-2.3.0-cdh6.1.0.tar

2.以下是我的hadoop核心配置文件的配置：

core-site.xml

<configuration>

                <property>

                                <name>fs.defaultFS</name>

                                <value>hdfs://master:9000</value>

                </property>

       <property>

                                <name>io.file.buffer.size</name>

                                <value>131072</value>

       </property>

       <property>

                                <name>hadoop.tmp.dir</name>

                                <value>file:/home/yinkaipeng/tmp</value>

                                <description>Abase for other temporary directories.</description>

                </property>

        <property>

               <name>hadoop.proxyuser.hduser.hosts</name>

               <value>*</value>

       </property>

                 <property>

               <name>hadoop.proxyuser.hduser.groups</name>

               <value>*</value>

       </property>

</configuration>

hdfs-site.xml

<configuration>

       <property>

                <name>dfs.namenode.secondary.http-address</name>

               <value>master:9001</value>

        </property>

         <property>

                  <name>dfs.namenode.name.dir</name>

                 <value>file:/usr/local/data/dfs/name</value>

            </property>

           <property>

                    <name>dfs.datanode.data.dir</name>

                    <value>file:/usr/local/data/dfs/data</value>

            </property>

            <property>

                     <name>dfs.replication</name>

                     <value>3</value>

             </property>

             <property>

                     <name>dfs.webhdfs.enabled</name>

                     <value>true</value>

         </property>

</configuration>

mapred-site.xml

<configuration>

                <property>

                                <name>mapreduce.framework.name</name>

                                <value>yarn</value>

                </property>

                <property>

                                <name>mapreduce.jobhistory.address</name>

                                <value>master:10020</value>

                </property>

                <property>

               <name>mapreduce.jobhistory.webapp.address</name>

               <value>master:19888</value>

       </property>

</configuration>

yarn-site.xml

<configuration>

                 <property>

               <name>yarn.nodemanager.aux-services</name>

               <value>mapreduce_shuffle</value>

        </property>

                 <property>

               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

               <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

        <property>

               <name>yarn.resourcemanager.address</name>

               <value>master:8032</value>

       </property>

                <property>

               <name>yarn.resourcemanager.scheduler.address</name>

               <value>master:8030</value>

               </property>

               <property>

                       <name>yarn.resourcemanager.resource-tracker.address</name>

                        <value>master:8031</value>

               </property>

               <property>

                       <name>yarn.resourcemanager.admin.address</name>

                        <value>master:8033</value>

               </property>

                <property>

               <name>yarn.resourcemanager.webapp.address</name>

               <value>master:8088</value>

       </property>

</configuration>

在hadoop2.0 中如果不配置zookeeper，只需將你將你的datanode加入slaves文件中即可。

hadoop集群配置好后，然后就是使用eclipse進(jìn)行連接啦！

好的，我使用的是：hadoop-eclipse-plugin-2.2.0，從網(wǎng)上下載的。

下面開始我們開始工作。

啟動(dòng)hadoop集群
將hadoop-eclipse-plugin-2.2.0拷貝到eclipse的plugins 目錄下，啟動(dòng)eclipse。

如現(xiàn)在就進(jìn)行連接的話不會(huì)成功的。因?yàn)槲覀冇玫氖荳indows所以還需要進(jìn)行以下步驟：

將電腦當(dāng)前用戶名改為hadoop的啟動(dòng)用戶名
eclipse連接hadoop源碼目錄，將hadoop-common-2.2.0-bin-master的bin目錄考到eclipse的workspace
注：上面hadoop目錄為我從Linux系統(tǒng)上下載的解壓后的hadoop。
到這里操作hdfs就沒問題了，如果要運(yùn)行mapreduce還會(huì)報(bào)錯(cuò)，進(jìn)行以下兩步：
1.將hadoop源碼中的org.apache.hadoop.io.nativeio加到項(xiàng)目中，并進(jìn)行以下修改：

2.在我們的mapreduce的main函數(shù)中注入hadoop本地目錄地址環(huán)境變量。

怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序

ok！這下就可以在Windows上進(jìn)行hadoop集群的mapreduce在線調(diào)試了！

到此，相信大家對(duì)“怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

當(dāng)前名稱：怎么使用eclipse在遠(yuǎn)程hadoop集群上在線運(yùn)行和調(diào)試mapreduce程序
分享URL：http://muchs.cn/article48/gedehp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、網(wǎng)站導(dǎo)航、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、面包屑導(dǎo)航、關(guān)鍵詞優(yōu)化

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容