hadoop3.x學(xué)習(xí)（一）--安裝與環(huán)境配置-創(chuàng)新互聯(lián)

一、hadoop的組成

• hadoop1.x：Commons、HDFS（數(shù)據(jù)存儲(chǔ)）、MapReduce（資源調(diào)度+計(jì)算）
• hadoop2.x:Commons、HDFS（數(shù)據(jù)存儲(chǔ)）、MapReduce（計(jì)算）、Yarn(資源調(diào)度)

1.1 HDFS

成都創(chuàng)新互聯(lián)公司2013年開創(chuàng)至今，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站建設(shè)、成都網(wǎng)站制作網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元贛榆做網(wǎng)站,已為上家服務(wù),為贛榆各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

• 分布式存儲(chǔ)文件系統(tǒng)。分為NameNode和DataNode
• NameNode： 管理元數(shù)據(jù)，負(fù)責(zé)監(jiān)控DataNode狀態(tài)，存儲(chǔ)在內(nèi)存。
• DataNode: 負(fù)責(zé)存儲(chǔ)具體的數(shù)據(jù)。dataNode和nameNode有一個(gè)心跳機(jī)制，數(shù)據(jù)存儲(chǔ)在磁盤。

1.2 Yarn（資源調(diào)度）

• Resource Manager：所有資源（內(nèi)存、CPU等）的管理者
• Node Manager: 單一資源的管理者。
• ApplicationMaster: 單個(gè)任務(wù)的執(zhí)行者
• Container: 容器，相當(dāng)于一臺(tái)獨(dú)立的服務(wù)器，有對(duì)應(yīng)運(yùn)行所需要的的資源

1.2 MapReduce（計(jì)算）

將任務(wù)分發(fā)給每一臺(tái)服務(wù)器，然后結(jié)果匯總到一臺(tái)服務(wù)器

二、VM配置多臺(tái)服務(wù)器

1.1 修改虛擬機(jī)配置ip網(wǎng)段

• VM點(diǎn)擊編輯，設(shè)置虛擬網(wǎng)絡(luò)編輯器，點(diǎn)擊VMnet8修改子網(wǎng)ip為192.168.10.0，修改網(wǎng)關(guān)為192.168.10.2。
• windows打開網(wǎng)絡(luò)配置，點(diǎn)擊vm8修改ipv4
  
• 修改/etc/sysconfig/network-scripts/ifcfg-ens33
  修改BOOTPROTO為static #靜態(tài)ip
  #添加一下內(nèi)容
  IPADDR=192.168.10.100
  GATEWAY=192.168.10.2
  DNS1=192.168.10.2
• 修改hostname為hadoop100
  vi /etc/hostname
• 修改hosts映射
  vi /etc/hosts
  #添加以下內(nèi)容
  192.168.10.100 hadoop100
  192.168.10.101 hadoop101
  192.168.10.102 hadoop102
  192.168.10.103 hadoop103
  192.168.10.104 hadoop104
  192.168.10.105 hadoop105
  192.168.10.106 hadoop106
  192.168.10.107 hadoop107
  192.168.10.108 hadoop108

1.2 虛擬機(jī)的基礎(chǔ)配置

• 如果虛擬機(jī)為最小系統(tǒng)安裝，需要安裝如下工具
  #軟件庫(官方的rpm會(huì)缺少一些包)
  yum install -y epel-release
  #vim
  yum install -y vim
  #net-tool
  yum install -y net-tools
• 關(guān)閉停止防火墻
  systemctl stop firewalld
systemctl disable firewalld.service

1.3 克隆虛擬機(jī)(hadoop102 103 104)

• 關(guān)閉虛擬機(jī)，進(jìn)行克隆，創(chuàng)建完整克隆
• 輪流登錄修改ip
  vi /etc/sysconfig/network-scripts/ifcfg-ens33
  修改IPADDR為192.168.10.102 (103 104)
• 修改主機(jī)名稱
  vi /etc/hostname hadoop102 (103 104)

三、配置hadoop基本的環(huán)境

1.1 在hadoop102上安裝jdk和hadoop

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

1.2 配置jdk的環(huán)境變量

cd /etc/profile.d
vim my_env.sh
####
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
####
source /etc/profile

1.3 安裝hadoop

tar -xvzf hadoop-3.1.3.tar.gz -C /opt/module/

1.4 配置hadoop的環(huán)境變量

vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

標(biāo)題名稱：hadoop3.x學(xué)習(xí)（一）--安裝與環(huán)境配置-創(chuàng)新互聯(lián)
URL地址：http://muchs.cn/article6/hsiog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護(hù)、企業(yè)網(wǎng)站制作、網(wǎng)站收錄、微信公眾號(hào)、標(biāo)簽優(yōu)化、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)