hadoop2.4.1偽分布模式部署-創(chuàng)新互聯(lián)

hadoop2.4.1偽分布模式部署 - wrencai

創(chuàng)新互聯(lián)專注于寧安企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站建設(shè),成都商城網(wǎng)站開發(fā)。寧安網(wǎng)站建設(shè)公司,為寧安等地區(qū)提供建站服務(wù)。全流程按需定制，專業(yè)設(shè)計，全程項目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

時間 2014-08-08 14:54:33  博客園-所有隨筆區(qū)

原文  http://www.cnblogs.com/wrencai/p/3899375.html

hadoop2.4.1偽分布模式部署

（ 承接上一篇hadoop2.4.1-src的編譯安裝繼續(xù)配置 ： http://www.cnblogs.com/wrencai/p/3897438.html ）

感謝： http://blog.sina.com.cn/s/blog_5252f6ca0101kb3s.html

感謝： http://blog.csdn.net/coolwzjcool/article/details/32072157

1.配置hadoop環(huán)境變量

在/etc/profile文件結(jié)尾增加hadoop安裝目錄的PATH路徑

export HADOOP_PREFIX=/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1

export PATH=$PATH:$HADOOP_PREFIX/bin

2.配置hadoop相關(guān)配置文件

進(jìn)入到hadoop安裝目錄此處為：/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1

對etc/hadoop中的文件進(jìn)行配置（相關(guān)文件hadoop-env.sh 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）

a.配制core-site.xml

<configuration>

  <property>

  <name>fs.default.name</name>

  <value>hdfs://localhost:9000</value>

  </property>

  <property>

  <name>dfs.namenode.name.dir</name>

  <value>file:/home/hadoop/hadoop-2.4.1/dfs/name</value>

  </property>

  <property>

  <name>dfs.datanode.data.dir</name>

  <value>file:/home/hadoop/hadoop-2.4.1/dfs/data</value>

  </property>

</configuration>

注意紅色字體hadoop是我為配置hadoop2.4.1設(shè)立的賬戶名稱，是系統(tǒng)在home目錄下自動創(chuàng)建的，可以根據(jù)需要更改。

b.配制hdfs-site.xml

<configuration>

  <property>

  <name>dfs.replication</name>

  <!--系統(tǒng)默認(rèn)文件保存3份，因偽分布模式，故改為1份-->

  <value>1</value>

  </property>

  <property>

  <name>dfs.namenode.name.dir</name>

  <value>/home/hadoop/hadoop-2.4.0/dfs/name</value>

  </property>

  <property>

  <name>dfs.datanode.data.dir</name>

  <value>/home/hadoop/hadoop-2.4.0/dfs/data</value>

  </property>

 </configuration>

c.配制mapred-site.xml

<configuration>

  <property>

  <name>mapreduce.jobtracker.address</name>

  <value>localhost:9001</value>

  </property>

 </configuration>

d.配置yarn-site.xml

<configuration>

 <!-- Site specific YARN configuration properties -->

  <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

  </property>

  <property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

  </property>

 </configuration>

3.ssh免密碼登陸設(shè)置： 參考 http://lhflinux.blog.51cto.com/1961662/526122

ssh鏈接是需要密碼認(rèn)證的，可以通過添加系統(tǒng)認(rèn)證（即公鑰-私鑰）的修改，修改后系統(tǒng)間切換可以避免密碼輸入和ssh認(rèn)證。

a. 修改文件：vi /etc/ssh/sshd_config

RSAAuthentication yes     開啟RSA加密方式

  PubkeyAuthentication yes    開啟公鑰認(rèn)證

  AuthorizedKeysFile .ssh/authorized_keys    公鑰存放位置

PasswordAuthentication no   拒絕使用密碼登錄

GSSAPIAuthentication no    防止登錄慢，以及報錯問題

ClientAliveInterval 300            300秒超時自動退出   ClientAliveCountMax 10          允許SSH遠(yuǎn)程連接的大數(shù)

  b.在root根目錄下執(zhí)行：

ssh-keygen -t rsa -P ''"

   回車，然后輸入密碼， 完成后再執(zhí)行：（本機(jī)作為偽集群的一個節(jié)點，也需要將認(rèn)證寫入authorized,不執(zhí)行下一句可能會出現(xiàn)agent admitted failure to sign using the  key   錯誤，參考 http://blog.chinaunix.net/uid-28228356-id-3510267.html )）

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

d.執(zhí)行下面命令，能夠直接進(jìn)入則表示成功

[root@localhost]#ssh localhost

Last login:Fri Aug  8 13:44:42 2014 from localhost

4.運行測試hadoop

a.到hadoop2.4.0目錄下執(zhí)行下面命令，格式化結(jié)點信息，最后一句出現(xiàn) "shutting down..."，中間沒有warn或者fatal error應(yīng)該就對了。此處可能會出現(xiàn) STARTUP_MSG: host  =  java.net. UnknownHostException: localhost.localdomain: localhost.localdomain的提示，可以參考 http://lxy2330.iteye.com/blog/1112806 進(jìn)行修改，或者臨時通過hostname localhost命令將本機(jī)主機(jī)名改為localhost.

./bin/hadoop namenode –format

   b.執(zhí)行sbin/start-all.sh啟動hadoop第一次可能不成功，這是可以通過先執(zhí)行一次sbin/stop-all.sh然后在執(zhí)行sbin/start-all.sh來完成，最后用jps命令查看進(jìn)程

[root@localhost hadoop-2.4.1]# ./sbin/start-all.sh

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

Starting namenodes on [localhost]

localhost: starting namenode, logging to

/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/hadoop-root-namenode-localhost.out

localhost: starting datanode, logging to

/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/hadoop-root-datanode-localhost.out

Starting secondary namenodes [0.0.0.0]

0.0.0.0: starting secondarynamenode, logging to

/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/hadoop-root-secondarynamenode-localhost.out

starting yarn daemons

starting resourcemanager, logging to

/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/yarn-root-resourcemanager-localhost.out

localhost: starting nodemanager, logging to

/opt/hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/logs/yarn-root-nodemanager-localhost.out

[root@localhost hadoop-2.4.1]# ssh localhost

Last login: Fri Aug  8 13:44:41 2014 from localhost

[root@localhost ~]# jps

28186 ResourceManager

28025 SecondaryNameNode

27743 NameNode

28281 NodeManager

29223 Jps

[root@localhost ~]#

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

標(biāo)題名稱：hadoop2.4.1偽分布模式部署-創(chuàng)新互聯(lián)
文章路徑：http://muchs.cn/article2/dhehic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、網(wǎng)站排名、全網(wǎng)營銷推廣、動態(tài)網(wǎng)站、自適應(yīng)網(wǎng)站、移動網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

h5響應(yīng)式網(wǎng)站建設(shè)