Hadoop集群模式下分布式環(huán)境怎么搭建

這篇文章主要介紹“Hadoop集群模式下分布式環(huán)境怎么搭建”，在日常操作中，相信很多人在Hadoop集群模式下分布式環(huán)境怎么搭建問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Hadoop集群模式下分布式環(huán)境怎么搭建”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

10年積累的網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作經(jīng)驗(yàn)，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站設(shè)計(jì)后付款的網(wǎng)站建設(shè)流程，更有建寧免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

一、基礎(chǔ)環(huán)境配置

1、三臺(tái)服務(wù)

準(zhǔn)備三臺(tái)Centos7服務(wù),基礎(chǔ)環(huán)境從偽分布式環(huán)境克隆過來。

133 hop01，134 hop02，136 hop03

2、設(shè)置主機(jī)名

## 設(shè)置名稱
hostnamectl set-hostname hop01
## 重啟
reboot -f

3、主機(jī)名通信

vim /etc/hosts
# 添加服務(wù)節(jié)點(diǎn)
192.168.37.133 hop01
192.168.37.134 hop02
192.168.37.136 hop03

4、SSH免密登錄

配置三臺(tái)服務(wù)SSH免密登錄。

[root@hop01 ~]# ssh-keygen -t rsa
...一路回車結(jié)束
[root@hop01 ~]# cd .ssh
...權(quán)限分配到指定集群服務(wù)
[root@hop01 .ssh]# ssh-copy-id hop01
[root@hop01 .ssh]# ssh-copy-id hop02
[root@hop01 .ssh]# ssh-copy-id hop03
...在hop01免密登錄到hop02
[root@hop01 ~]# ssh hop02

這里針對hop01服務(wù)，在hop02和hop03服務(wù)都要執(zhí)行該操作。

5、同步時(shí)間

ntp組件安裝

# 安裝
yum install ntpdate ntp -y
# 查看
rpm -qa|grep ntp

基礎(chǔ)管理命令

# 查看狀態(tài)
service ntpd status
# 啟動(dòng)
service ntpd start
# 開機(jī)啟動(dòng)
chkconfig ntpd on

修改時(shí)間服務(wù)hop01

# 修改ntp配置
vim /etc/ntp.conf
# 添加內(nèi)容
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
server 127.0.0.1
fudge 127.0.0.1 stratum 10

修改hop02\hop03時(shí)間機(jī)制，從hop01同步時(shí)間，并注銷網(wǎng)絡(luò)獲取時(shí)間的機(jī)制。

server 192.168.37.133
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst

編寫定時(shí)任務(wù)

[root@hop02 ~]# crontab -e
*/10 * * * * /usr/sbin/ntpdate hop01

修改hop02和hop03服務(wù)時(shí)間

# 指定時(shí)間
date -s "2018-05-20 13:14:55"
# 查看時(shí)間
date

這樣時(shí)間會(huì)基于hop01服務(wù)的時(shí)間不斷的更正或同步。

6、環(huán)境清理

從偽分布式環(huán)境虛擬機(jī)克隆三臺(tái)Centos7服務(wù),刪除原來hadoop環(huán)境配置的data和log文件夾。

[root@hop02 hadoop2.7]# rm -rf data/ logs/

二、集群環(huán)境搭建

1、集群配置概覽

服務(wù)列表	HDFS文件	YARN調(diào)度	單服務(wù)
hop01	DataNode	NodeManager	NameNode
hop02	DataNode	NodeManager	ResourceManager
hop03	DataNode	NodeManager	SecondaryNameNode

2、修改配置

vim core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hop01:9000</value>
</property>

這里三臺(tái)服務(wù)都需要分別指定當(dāng)前主機(jī)名稱。

vim hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hop03:50090</value>
</property>

這里修改副本數(shù)為3，并指定SecondaryNameNode服務(wù)，三臺(tái)服務(wù)同樣修改指定SecondaryNameNode在hop03服務(wù)上。

vim yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hop02</value>
</property>

指定ResourceManager服務(wù)在hop02上。

vim mapred-site.xml

<!-- 服務(wù)器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hop01:10020</value>
</property>

<!-- 服務(wù)器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hop01:19888</value>
</property>

指定相關(guān)web端查看地址在服務(wù)hop01上。

3、集群服務(wù)配置

路徑：/opt/hadoop2.7/etc/hadoop

文件：vim slaves

hop01
hop02
hop03

這里配置三臺(tái)服務(wù)的集群列表。同步修改其他服務(wù)相同配置。

4、格式化NameNode

注意這里NameNode配置在hop01服務(wù)上。

[root@hop01 hadoop2.7]# bin/hdfs namenode -format

5、啟動(dòng)HDFS

[root@hop01 hadoop2.7]# sbin/start-dfs.sh
Starting namenodes on [hop01]
hop01: starting namenode
hop03: starting datanode
hop02: starting datanode
hop01: starting datanode
Starting secondary namenodes [hop03]
hop03: starting secondarynamenode

注意看這里的打印信息，和配置完全吻合。namenodes在hop01上啟動(dòng)，secondary-namenodes在hop03上啟動(dòng)，可以通過JPS命令到各個(gè)服務(wù)查看驗(yàn)證。

6、啟動(dòng)YARN

注意Yarn配置在hop02服務(wù)上，所以在hop02服務(wù)執(zhí)行啟動(dòng)命令。

[root@hop02 hadoop2.7]# sbin/start-yarn.sh
starting yarn daemons
starting resourcemanager
hop03: starting nodemanager
hop01: starting nodemanager
hop02: starting nodemanager,

注意這里的啟動(dòng)打印日志，至此集群規(guī)劃的服務(wù)都啟動(dòng)完畢。

[root@hop01 hadoop2.7]# jps
4306 NodeManager
4043 DataNode
3949 NameNode
[root@hop02 hadoop2.7]# jps
3733 ResourceManager
3829 NodeManager
3613 DataNode
[root@hop03 hadoop2.7]# jps
3748 DataNode
3928 NodeManager
3803 SecondaryNameNode

查看各個(gè)服務(wù)下的集群進(jìn)程，與規(guī)劃配置一致。

7、Web端界面

NameNode：http://hop01:50070
SecondaryNameNode：http://hop03:50090

到此，關(guān)于“Hadoop集群模式下分布式環(huán)境怎么搭建”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

當(dāng)前題目：Hadoop集群模式下分布式環(huán)境怎么搭建
文章URL：http://muchs.cn/article10/gdchgo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、商城網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站營銷、網(wǎng)站策劃、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)