spark入門及集群環(huán)境搭建-創(chuàng)新互聯(lián)

軟件環(huán)境: VMware workstation 11.0

創(chuàng)新互聯(lián)成立于2013年，我們提供高端網(wǎng)站建設(shè)公司、重慶網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、網(wǎng)站定制、營銷型網(wǎng)站、成都小程序開發(fā)、微信公眾號(hào)開發(fā)、成都網(wǎng)站營銷服務(wù)，提供專業(yè)營銷思路、內(nèi)容策劃、視覺設(shè)計(jì)、程序開發(fā)來完成項(xiàng)目落地，為成都展覽展示企業(yè)提供源源不斷的流量和訂單咨詢。

linux ：CentOS 6.7

hadoop-2.7.3

jdk-1.0.7_67

spark-2.1.0-bin-hadoop2.7/

安裝虛擬機(jī)和jdk就不再此贅述。

直接講解安裝hadoop和spark的安裝。

一。下載hadoop源碼包。點(diǎn)擊此處下載: http://hadoop.apache.org/

1.下載后解壓到指定的目錄下。

tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop

2.解壓后進(jìn)入目錄 cd /usr/hadoop/hadoop-2.7.3

3.修改配置文件: 進(jìn)入到cd /hadoop-2.7.3/etc/hadoop下需要修改幾個(gè)配置文件

1> cp etc/hadoop/hadoop-env.sh.template.hadoop-env.sh

cp etc/hadoop/hdfs-site.xml.templete hdfs-site.xml

cp etc/hadoop/core-site.templete core-site.xml

cp etc/hadoop/mapred-env.sh.templete mapred-env.sh

cp etc/hadoop/mapred-site.templete mapred-site.sh

cp etc/hadoop/slaves.templete slaves

cp etc/yarn-env.sh.templete yarn-env.sh

cp etc/yarn-site.xml.templete yarn-site.xml

注意: 一般修改系統(tǒng)配置文件時(shí)最好做一個(gè)備份或者復(fù)制后修改，就像這樣的。

hadoop-env.sh 配置文件的內(nèi)容

# The java implementation to use.
   export JAVA_HOME=/opt/modules/jdk1.7.0_67/
 這是需要修改為自己機(jī)器安裝的jdk的位置。其他文件內(nèi)容不需要修改。

hdfs-site.xml
  
<property>
        <name>dfs.replication</name>
        <value>2</value>
        </property>
        <property>
        <name>dfs.block.size</name>
        <value>134217728</value>
        </property>
        <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoopdata/dfs/name</value>
        </property>
        <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoopdata/dfs/data</value>
        </property>
        <property>
        <name>fs.checkpoint.dir</name>
        <value>/home/hadoopdata/checkpoint/dfs/cname</value>
        </property>
        <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/home/hadoopdata/checkpoint/dfs/cname</value>
        </property>
        <property>
         <name>dfs.http.address</name>
        <value>master:50070</value>
         </property>
          <property>
           <name>dfs.secondary.http.address</name>
           <value>slave1:50090</value>
          </property>
           <property>
          <name>dfs.webhdfs.enabled</name>
        <value>true</value>
           </property>
          <property>
          <name>dfs.permissions</name>
          <value>true</value>
          </property>
</configuration>

3> core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://master:8020</value>

</property>

<name>io.file.buffer.size</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/opt/modules/hadoop-2.7.3/data/tmp</value>

</property>

</configuration>

4> mapred-env.sh

 export JAVA_HOME=/usr/local/java/jdk1.7.0_67/

修改為自己電腦的jdk路徑。

5> mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

<name>mapreduce.job.ubertask.enable</name>

</property>

<name>mapred.job.tracker</name>

<value>master:9001</value>

</property>

6> slaves 設(shè)置需要幾個(gè)節(jié)點(diǎn)運(yùn)行

master

slave1

slave2

7> yarn-env.sh

JAVA=$JAVA_HOME/bin/java 引用jdk的路徑

8> yarn-site.xml

<name>yarn.resourcemanager.hostname</name>

<value>salve2 </value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.resourcemanager.address</name>

<value>slave2:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>slave2:8030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>slave2:8031</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>slave2:8033</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>slave2:8088</value>

</property>

<name>yarn.log-aggregation-enable</name>

</property>

<name>yarn.nodemanager.remote-app-log-dir</name>

<value>/opt/modules/hadoop-2.7.3/tmp/logs</value>

</property>

注意: 修改完配置后，需要將hadoop分發(fā)到其他節(jié)點(diǎn)。 slave1和slave2.

scp -r /usr/hadoop/hadoop-2.7.3 root@slave1:/usr/hadoop

scp -r /usr/hadoop/hadoop-2.7.3 root@slave2:/usr/hadoop

然后需要修改環(huán)境變量文件。可以修改當(dāng)前用戶的環(huán)境變量文件，就是~./bash_rc 或全局變量文件 /etc/profile

export JAVA_HOME=/usr/local/jdk-1.7.0_67

export PATH=:PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

保存 :wq; 然后可以把環(huán)境變量文件發(fā)送給其他節(jié)點(diǎn)。

二. 格式化namenode節(jié)點(diǎn)

hadoop namenode -format 會(huì)看到一堆輸出信息。然后會(huì)提示namenode 格式化成功的提示。

三。啟動(dòng)集群.

可以全部啟動(dòng)，也可以單獨(dú) 啟動(dòng)。

hadoop 安裝路徑下有個(gè)sbin 目錄，下是存放的是系統(tǒng)的啟動(dòng)腳本。

全部啟動(dòng): start-all.sh

單獨(dú)啟動(dòng)節(jié)點(diǎn): hadoop-daemon.sh start namenode/datanode xxx.

啟動(dòng)后用jps查看進(jìn)程。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站欄目：spark入門及集群環(huán)境搭建-創(chuàng)新互聯(lián)
本文URL：http://www.muchs.cn/article6/dgigog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計(jì)公司、企業(yè)網(wǎng)站制作、電子商務(wù)、響應(yīng)式網(wǎng)站、移動(dòng)網(wǎng)站建設(shè)、定制網(wǎng)站

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容