大數(shù)據(jù)之---hadoop偽分布式部署(HDFS)全網(wǎng)終極篇-創(chuàng)新互聯(lián)

1、軟件環(huán)境

RHEL6	jdk-8u45
hadoop-2.8.1.tar.gz	ssh
xx.xx.xx.xx ip地址	hadoop1
xx.xx.xx.xx ip地址	hadoop2
xx.xx.xx.xx ip地址	hadoop3
xx.xx.xx.xx ip地址	hadoop4
xx.xx.xx.xx ip地址	hadoop5

本次部署只涉及偽分布式部署只是要主機(jī)hadoop1

創(chuàng)新互聯(lián)公司長(zhǎng)期為千余家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為洛龍企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站，洛龍網(wǎng)站改版等技術(shù)服務(wù)。擁有10年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

2.偽分布式部署

偽分布式部署文檔參考官方網(wǎng)站hadoop
Apache > Hadoop > Apache Hadoop Project Dist POM > Apache Hadoop 2.8.3 > Hadoop: Setting up a Single Node Cluster
添加hadoop用戶

[root@hadoop1 ~]# useradd hadoop
[root@hadoop1 ~]# vi /etc/sudoers
# 找到root???? ALL=(ALL)???? ALL，添加
hadoop???? ALL=(ALL)?????? NOPASSWD:ALL
上傳并解壓
[root@hadoop1 software]# rz #上傳hadoop-2.8.1.tar.gz
[root@hadoop1 software]# tar -xzvf hadoop-2.8.1.tar.gz
軟連接
[root@hadoop1 software]# ln -s /opt/software/hadoop-2.8.1 /opt/software/hadoop
設(shè)置環(huán)境變量
[root@hadoop1 software]# vi /etc/profile
export HADOOP_HOME=/opt/software/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
[root@hadoop1 software]# source /etc/profile
設(shè)置用戶、用戶組
[root@hadoop1 software]# chown -R hadoop:hadoop hadoop
[root@hadoop1 software]# chown -R hadoop:hadoop hadoop/*
[root@hadoop1 software]# chown -R hadoop:hadoop hadoop-2.8.1???????
[root@hadoop1 software]# cd hadoop
[root@hadoop1 hadoop]# rm -f *.txt
[root@hadoop1 software]# su - hadoop
[root@hadoop1 hadoop]# ll
total 32
drwxrwxr-x. 2 hadoop hadoop 4096 Jun? 2 14:24 bin
drwxrwxr-x. 3 hadoop hadoop 4096 Jun? 2 14:24 etc
drwxrwxr-x. 2 hadoop hadoop 4096 Jun? 2 14:24 include
drwxrwxr-x. 3 hadoop hadoop 4096 Jun? 2 14:24 lib
drwxrwxr-x. 2 hadoop hadoop 4096 Aug 20 13:59 libexec
drwxr-xr-x. 2 hadoop hadoop 4096 Aug 20 13:59 logs
drwxrwxr-x. 2 hadoop hadoop 4096 Jun? 2 14:24 sbin
drwxrwxr-x. 4 hadoop hadoop 4096 Jun? 2 14:24 share???
???????
# bin:??????? 可執(zhí)行文件
# etc:???????? 配置文件
# sbin:??????? shell腳本，啟動(dòng)關(guān)閉hdfs,yarn等配置文件
[hadoop@hadoop1 ~]# cd /opt/software/hadoop
[hadoop@hadoop1 hadoop]# vi etc/hadoop/core-site.xml
<configuration>
??? <property>
??????? <name>fs.defaultFS</name>
??????? <value>hdfs://172.168.18.133:9000</value>??? # 配置自己機(jī)器的IP
??? </property>
</configuration>
???????
[hadoop@hadoop1 hadoop]# vi etc/hadoop/hdfs-site.xml
<configuration>
??? <property>
??????? <name>dfs.replication</name>
??????? <value>1</value>
??? </property>
</configuration>

---紅色部分新增
配置hadoop用戶的ssh信任關(guān)系
# 公鑰/密鑰?? 配置無密碼登錄
[hadoop@hadoop1 ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
[hadoop@hadoop1 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@hadoop1 ~]# chmod 0600 ~/.ssh/authorized_keys???????
# 查看日期，看是否配置成功
[root@hadoop1 ~]# ssh hadoop1 date
Wed Apr 25 15:22:58 CST 2018

[root@hadoop1 ~]#? ssh localhost date
Wed Apr 25 15:23:25 CST 2018

# 第一次執(zhí)行命令有交互選擇輸入yes
格式化和啟動(dòng)
[hadoop@hadoop1 hadoop]# bin/hdfs namenode -format
[hadoop@hadoop1 hadoop]# sbin/start-dfs.sh
ERROR:
??? hadoop1: Error: JAVA_HOME is not set and could not be found.
??? localhost: Error: JAVA_HOME is not set and could not be found.
解決方法:添加環(huán)境變量
[hadoop@hadoop1 hadoop]#? vi etc/hadoop/hadoop-env.sh
# 將export JAVA_HOME=${JAVA_HOME}改為
export JAVA_HOME=/usr/java/jdk1.8.0_45
# 繼續(xù)啟動(dòng)
[hadoop@hadoop1 hadoop]# sbin/start-dfs.sh
檢查是否成功
[hadoop@hadoop1 hadoop]# jps
8026 Jps
7485 NameNode
7597 DataNode
7807 SecondaryNameNode
訪問： http://192.168.137.130:50070

修改dfs啟動(dòng)的進(jìn)程，以hadoop1啟動(dòng)? 啟動(dòng)的三個(gè)進(jìn)程：
namenode: hadoop1??? bin/hdfs getconf -namenodes
datanode: localhost??? datanodes (using default slaves file)?? etc/hadoop/slaves
secondarynamenode: 0.0.0.0

[hadoop@hadoop1 ~]# cd /opt/software/hadoop
[hadoop@hadoop1 hadoop]# echo? "hadoop1" > ./etc/hadoop/slaves
[hadoop@hadoop1 hadoop]# cat ./etc/hadoop/slaves
hadoop1
[hadoop@hadoop1 hadoop]# vi ./etc/hadoop/hdfs-site.xml
<property>
??? <name>dfs.namenode.secondary.http-address</name>
??? <value>hadoop1:50090</value>
</property>
<property>
??? <name>dfs.namenode.secondary.https-address</name>
??? <value>hadoop1:50091</value>
</property>
[hadoop@hadoop1 hadoop]# sbin/stop-dfs.sh
[hadoop@hadoop1 hadoop]# sbin/start-dfs.sh

訪問： http://192.168.137.130:50070界面

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

文章題目：大數(shù)據(jù)之---hadoop偽分布式部署(HDFS)全網(wǎng)終極篇-創(chuàng)新互聯(lián)
URL鏈接：http://muchs.cn/article40/cedceo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)、網(wǎng)站排名、網(wǎng)站改版、定制開發(fā)、靜態(tài)網(wǎng)站、網(wǎng)站營(yíng)銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)