Hadoop2.6.5分布式集群搭建和測試

vmware虛擬機環(huán)境：

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：域名注冊、網(wǎng)站空間、營銷軟件、網(wǎng)站建設(shè)、瓜州網(wǎng)站維護(hù)、網(wǎng)站推廣。

                192.168.60.128    master
                192.168.60.129    node129
                192.168.60.130    node130

1、修改每臺虛擬機的/etc/sysconfig/network和/etc/hosts

#修改hostname：vim /etc/sysconfig/network
#修改hosts內(nèi)容如下：vim /etc/hosts
                192.168.60.128    master
                192.168.60.129    node129
                192.168.60.130    node130

2、配置三臺機器互信(以128機器為例)：

2.1 ssh-keygen -t rsa
2.2 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.60.129
   ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.60.130
2.3  剩下的每臺機器上都要重復(fù)上面的操作

3.安裝jdk和配置環(huán)境變量

分別在每臺主機上安裝jdk，并配置環(huán)境變量。（嫌麻煩的前面可以安裝完jdk后再克?。?/p>

1）下載jdk安裝包（自行百度），并將安裝包拖入到虛擬機當(dāng)中

2）通過cd命令進(jìn)入到安裝包的當(dāng)前目錄，利用如下命令進(jìn)行解壓縮。

tar -zxvf jdk.....(安裝包名稱)

3）利用如下命令將解壓后的文件夾移到/usr目錄下　

#注意，這樣移動到/usr以后就沒有jdk1.8...這個目錄了，是將這個目錄下的所有文件全部移動到/usr/java下，mv jdk1.8...(文件夾名稱) /usr/java

4）配置環(huán)境變量

sudo vim /etc/profile

在末尾加上四行：

  1. #java    

    export JAVA_HOME=/usr/java   

    export JRE_HOME=/usr/java/jre    

    export CLASSPATH=$JAVA_HOME/lib    

    export PATH=:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin  

輸入如下命令使配置生效：source /etc/profile

4.master配置hadoop,然后將master的hadoop文件傳送給node節(jié)點

1）解包移動

#解壓hadoop包  
tar -zxvf hadoop...  
#將安裝包移到/home/hadoop目錄下  
mv hadoop... /home/hadoop/hadoop

2）新建文件夾

#在/home/hadoop目錄下新建如下目錄  
mkdir dfs  
mkdir dfs/name  
mkdir dfs/data  
mkdir tmp

修改JAVA_HOME值（export JAVA_HOME=/usr/java） 

4)配置文件：yarn-env.sh

修改JAVA_HOME值（export JAVA_HOME=/usr/java）

5)配置文件：slaves

將內(nèi)容修改為：

node129
node130

6)配置文件：core-site.xml

<configuration>  

    <property>  

        <name>fs.defaultFS</name>  

        <value>hdfs://master:9000</value>  

    </property>  

    <property>  

        <name>io.file.buffer.size</name>  

        <value>131072</value>  

    </property>  

    <property>  

        <name>hadoop.tmp.dir</name>  

        <value>file:/home/hadoop/tmp</value>  

        <description>Abase for other temporary directories.</description>  

    </property>  

</configuration>  

7)配置文件：hdfs-site.xml

<configuration>  

    <property>  

      <name>dfs.namenode.secondary.http-address</name>  

      <value>master:9001</value>  

    </property>  

     <property>  

      <name>dfs.namenode.name.dir</name>  

      <value>file:/home/hadoop/dfs/name</value>  

    </property>  

    <property>  

      <name>dfs.datanode.data.dir</name>  

      <value>file:/home/hadoop/dfs/data</value>  

    </property>  

    <property>  

      <name>dfs.replication</name>  

      <value>2</value>  

    </property>  

    <property>  

      <name>dfs.webhdfs.enabled</name>  

      <value>true</value>  

    </property>  

</configuration>  

8)配置文件：mapred-site.xml

先創(chuàng)建然后編輯

 cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

<configuration>  
   <property>                                       

　　　　　<name>mapreduce.framework.name</name>  

      <value>yarn</value>  

  </property>  

  <property>  

      <name>mapreduce.jobhistory.address</name>  

        <value>master:10020</value>  

  </property>  

   <property>  

      <name>mapreduce.jobhistory.webapp.address</name>  

      <value>master:19888</value>  

  </property>  

</configuration>  

9)配置文件：yarn-site.xml

<configuration>  

   <property>  

       <name>yarn.nodemanager.aux-services</name>  

       <value>mapreduce_shuffle</value>  

   </property>  

   <property>                                         

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  

   </property>  

   <property>  

        <name>yarn.resourcemanager.address</name>  

        <value>master:8032</value>  

   </property>  

   <property>  

        <name>yarn.resourcemanager.scheduler.address</name>  

        <value>master:8030</value>  

   </property>  

   <property>  

        <name>yarn.resourcemanager.resource-tracker.address</name>  

        <value>master:8031</value>  

      </property>  

   <property>  

        <name>yarn.resourcemanager.admin.address</name>  

        <value>master:8033</value>  

   </property>  

   <property>  

        <name>yarn.resourcemanager.webapp.address</name>  

        <value>master:8088</value>  

   </property>  

</configuration>  

10)將hadoop傳輸?shù)絥ode129和node130 /home/hadoop目錄

 scp -r /home/hadoop/hadoop hadoop@node129:/home/hadoop
 scp -r /home/hadoop/hadoop hadoop@node130:/home/hadoop
5、配置環(huán)境變量，并啟動hadoop，檢查是否安裝成功
1）配置環(huán)境變量
#編輯/etc/profile
sudo vim /etc/profile
#以上已經(jīng)添加過java的環(huán)境變量,在后邊添加就可以
export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin

執(zhí)行 

source /etc/profile

使文件生效。

2）啟動hadoop,進(jìn)入hadoop安裝目錄

bin/hdfs namenode -format
sbin/start-all.sh

3)啟動后分別在master, node下輸入jps查看進(jìn)程

看到下面的結(jié)果，則表示成功。

Master:

Hadoop2.6.5分布式集群搭建和測試

node:

Hadoop2.6.5分布式集群搭建和測試

6.向hadoop集群系統(tǒng)提交第一個mapreduce任務(wù)(wordcount)

1、  hdfs dfs -mkdir -p /data/input在虛擬分布式文件系統(tǒng)上創(chuàng)建一個測試目錄/data/input

2、  hdfs dfs -put README.txt  /data/input  將當(dāng)前目錄下的README.txt 文件復(fù)制到虛擬分布式文件系統(tǒng)中

3、  hdfs dfs-ls /data/input    查看文件系統(tǒng)中是否存在我們所復(fù)制的文件

4、  運行如下命令向hadoop提交單詞統(tǒng)計任務(wù)

進(jìn)入jar文件目錄，執(zhí)行下面的指令。

hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/input /data/output/result

查看result，結(jié)果在result下面的part-r-00000中

hdfs dfs -cat /data/output/result/part-r-00000

Hadoop2.6.5分布式集群搭建和測試

自此，hadoop集群搭建成功！

本文名稱：Hadoop2.6.5分布式集群搭建和測試
轉(zhuǎn)載來源：http://muchs.cn/article18/jopsgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、網(wǎng)站改版、網(wǎng)站策劃、虛擬主機、網(wǎng)站維護(hù)、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

成都app開發(fā)公司