CentOS6.4如何安裝Hadoop-2.5.1完全分布式集群-創(chuàng)新互聯(lián)

這篇文章主要介紹了CentOS 6.4如何安裝Hadoop-2.5.1完全分布式集群，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

公司主營業(yè)務(wù)：網(wǎng)站制作、成都網(wǎng)站設(shè)計、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)公司是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)公司推出云巖免費做網(wǎng)站回饋大家。

環(huán)境介紹：

在兩臺裝有CentOS 6.4（32位）的服務(wù)器上安裝Hadoop-2.5.1分布式集群（2臺機器，主要試驗用）。

1．修改主機名和/etc/hosts文件

1）修改主機名（非必要）

vim /etc/sysconfig/network
HOSTNAME=XXX

重啟后生效。

2）/etc/hosts是ip地址和其對應(yīng)主機名文件，使機器知道ip和主機名對應(yīng)關(guān)系，格式如下：

#IPAddress HostName
192.168.1.67 MasterServer
192.168.1.241 SlaveServer

2．配置免密碼登陸SSH

1）生成密鑰：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

以上是兩個單引號。

2）將id_dsa.pub（公鑰）追加到授權(quán)的key中：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3）將認(rèn)證文件復(fù)制到其它節(jié)點上：

scp ~/.ssh/authorized_keys hadooper@192.168.1.241:~/.ssh/

第一次要確認(rèn)連接，輸入yes即可。

但我的仍要求輸入密碼，原因是.ssh和authorized_keys權(quán)限不對，具體見：http://www.linuxidc.com/Linux/2014-10/107762.htm

3．各節(jié)點上安裝jdk
1）選擇的版本是jdk-6u27-linux-i586.bin，下載地址：http://pan.baidu.com/s/1dDGi5QL
2）上傳到hadooper用戶目錄下，添加執(zhí)行權(quán)限

chmod 777 jdk-6u27-linux-i586.bin

3）安裝

./jdk-6u27-linux-i586.bin

4）配置環(huán)境變量：vi /etc/profile加入以下三行

#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27
export PATH=$JAVA_HOME/bin:$PATH

5）執(zhí)行source /etc/profile使環(huán)境變量的配置生效
6）執(zhí)行java –version查看jdk版本，驗證是否成功。

4. Hadoop安裝

每臺節(jié)點都要安裝hadoop。上傳hadoop-2.5.1.tar.gz到用戶hadooper目錄下。

1）解壓

tar -zvxf hadoop-2.5.1.tar.gz

2）添加環(huán)境變量：
# vim /etc/profile，尾部添加如下
export HADOOP_HOME=/home/hadooper/hadoop/hadoop-2.5.1
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

設(shè)置立即生效：

source /etc/profile

3）修改Hadoop配置文件

（1）core-site.xml

fs.defaultFS
hdfs://MasterServer:9000

（2）hdfs-site.xml

dfs.replication
3

（3）mapred-site.xml

mapreduce.framework.name
yarn

mapreduce.jobhistory.address
MasterServer:10020

mapreduce.jobhistory.webapp.address
MasterServer:19888

jobhistory是Hadoop自帶了一個歷史服務(wù)器，記錄Mapreduce歷史作業(yè)。默認(rèn)情況下，jobhistory沒有啟動，可用以下命令啟動：

sbin/mr-jobhistory-daemon.sh start historyserver

（4）yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle

yarn.resourcemanager.address
MasterServer:8032

yarn.resourcemanager.scheduler.address
MasterServer:8030

yarn.resourcemanager.resource-tracker.address
MasterServer:8031

yarn.resourcemanager.admin.address
MasterServer:8033

yarn.resourcemanager.webapp.address
MasterServer:8088

（5）slaves

SlaveServer

（6）分別在hadoop-env.sh和yarn-env.sh中添加JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27

5.運行Hadoop
1）格式化

hdfs namenode –format

2）啟動Hadoop

start-dfs.sh
start-yarn.sh

也可以用一條命令：

start-all.sh

3）停止Hadoop

stop-all.sh

4）jps查看進(jìn)程

7692 ResourceManager
8428 JobHistoryServer
7348 NameNode
14874 Jps
7539 SecondaryNameNode

5）通過瀏覽器查看集群運行狀態(tài)

（1）http://192.168.1.67:50070

（2）http://192.168.1.67:8088/

（3）http://192.168.1.67:19888

6. 運行Hadoop自帶的wordcount示例

1）建立輸入文件：

echo "My first hadoop example. Hello Hadoop in input. " > input

2）建立目錄

hadoop fs -mkdir /user/hadooper

3）上傳文件

hadoop fs -put input /user/hadooper

4）執(zhí)行wordcount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /user/hadooper/input /user/hadooper/output

5）查看結(jié)果

hadoop fs -cat /user/hadooper/output/part-r-00000

Hadoop 1
My 1
example.Hello 1
first 1
hadoop 1
in 1
input. 1

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“CentOS 6.4如何安裝Hadoop-2.5.1完全分布式集群”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

網(wǎng)站名稱：CentOS6.4如何安裝Hadoop-2.5.1完全分布式集群-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://www.muchs.cn/article38/dieppp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、域名注冊、面包屑導(dǎo)航、建站公司、Google、企業(yè)網(wǎng)站制作

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容