hadoop安裝與配置-創(chuàng)新互聯(lián)

1.檢查JDK版本

在桃山等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都做網(wǎng)站、成都網(wǎng)站制作網(wǎng)站設(shè)計(jì)制作定制網(wǎng)站制作,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),高端網(wǎng)站設(shè)計(jì),成都營(yíng)銷網(wǎng)站建設(shè),外貿(mào)營(yíng)銷網(wǎng)站建設(shè),桃山網(wǎng)站建設(shè)費(fèi)用合理。

2.時(shí)間同步

3.設(shè)置免密碼登錄

#生成密鑰(node1,node2,node3,node4)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cd ~/.ssh/
ls
#說(shuō)明
##id_ds 私鑰
##is_dsa.pub 公鑰
#將公鑰文件追加到本地的認(rèn)證文件中(node1,node2,node3,node4)
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh 192.168.2.136
#Last login: Sun Jul  9 14:14:35 2017 from 192.168.2.136,表示登錄成功,并且是不需要輸入密碼的
exit
#logout 退出
將node1中的公鑰復(fù)制到node2,node3,node4中
 scp ./id_dsa.pub root@192.168.2.137:/opt/
 scp ./id_dsa.pub root@192.168.2.138:/opt/
 scp ./id_dsa.pub root@192.168.2.139:/opt/
將/opt/id_dsa.pub添加到node2,node3,node4的認(rèn)證文件中
 cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys

4.設(shè)置node1為NameNode,node2,node3,node4為datanode

將hadoop壓縮包上傳到node1的/root目錄
tar -zxvf hadoop-2.5.1_x64.tar.gz

mv hadoop-2.5.1 /home/
cd /home/
ls
cd hadoop-2.5.1
ls
cd etc/hadoop

#配置1,修改hadoopenv.sh
vi hadoop-env.sh
#將jdk的安裝目錄添加到這個(gè)文件
export JAVA_HOME=/usr/java/jdk1.7.0_79

#配置2,修改core-site.xml
    vi core-site.xml
		<configuration>
		    <property>
		        <name>fs.defaultFS</name>
		        <value>hdfs://192.168.2.136:9000</value>
		    </property>
		    <property>
		        <name>hadoop.tmp.dir</name>
		        <value>/opt/hadoop-2.5</value>
		    </property>
		</configuration>

	#配置3,修改hdfs-site.xml
		vi hdfs-site.xml
		<configuration>
		    <property>
		        <name>dfs.namenode.secondary.http-address</name>
		        <value>192.168.2.137:50090</value>
		    </property>
		    <property>
		        <name>dfs.namenode.secondary.https-address</name>
		        <value>192.168.2.137:50091</value>
		    </property>
		</configuration>

	#配置4,修改slaves
		vi slaves
		192.168.2.137
		192.168.2.138
		192.168.2.139

	#配置5,修改masters
		vi masters
		192.168.2.137

5.復(fù)制文件

scp -r hadoop-2.5.1/ root@192.168.2.137:/home/
scp -r hadoop-2.5.1/ root@192.168.2.138:/home/
scp -r hadoop-2.5.1/ root@192.168.2.139:/home/

6.配置hadoop環(huán)境變量

vi ~/.bash_profile
export HADOOP_HOME=/home/hadoop-2.5.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

7.復(fù)制文件

scp ~/.bash_profile root@192.168.2.137:/root/
scp ~/.bash_profile root@192.168.2.138:/root/
scp ~/.bash_profile root@192.168.2.139:/root/

8.重新加載~/.bash_profile

source ~/.bash_profile

9.格式化hdf文件系統(tǒng),只能在NameNode(node1)上使用

hdfs namenode -format

10.查看生成文件fsp_w_picpath

cd /opt/hadoop-2.5/dfs/name/current
ls -l

11.啟動(dòng)節(jié)點(diǎn)

start-dfs.sh
#start-all.sh

12.關(guān)閉防火墻

service iptables stop

13.監(jiān)控頁(yè)面進(jìn)行訪問(wèn)

http://192.168.2.136:50070/dfshealth.html#tab-overview

14.說(shuō)明:保證/etc/hosts下的配置正確

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

文章名稱：hadoop安裝與配置-創(chuàng)新互聯(lián)
轉(zhuǎn)載源于：http://muchs.cn/article18/dhdjgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、用戶體驗(yàn)、網(wǎng)站改版、軟件開(kāi)發(fā)、網(wǎng)站維護(hù)、網(wǎng)站營(yíng)銷

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容