Spark集群部署

Spark集群部署

本次博文希望對(duì)各位Spark技術(shù)研究者有用。

第四步：創(chuàng)建虛擬機(jī)
基于創(chuàng)建的鏡像，生成2臺(tái)虛擬機(jī)，加上最開始用于創(chuàng)建鏡像的1臺(tái)，一共3臺(tái)虛擬主機(jī)，名稱分別為：
spark_hadoop_master
spark_hadoop_slave1
spark_hadoop_slave2
下面就可以開始做與創(chuàng)建Spark集群相關(guān)的操作了。
第五步：設(shè)置主機(jī)名
1.在/etc/hostname中就改主機(jī)名，分別設(shè)置三臺(tái)主機(jī)為master、slave1、slave2，并重啟

2.重啟之后，分別設(shè)置三個(gè)節(jié)點(diǎn)etc/hosts，指定ip和主機(jī)名的對(duì)應(yīng)關(guān)系。

通過測(cè)試root@master :~# ssh slave1，在輸入root用戶密碼后可以登錄。
第六步：修改ssh無密碼訪問
首先開啟root用戶訪問權(quán)限
1.修改/etc/ssh/sshd-config文件，設(shè)置如下：
2.PermitRootLogin yes
3.PubkeyAuthentication yes
4.PasswordAuthentication yes
重新啟動(dòng)ssh服務(wù)：service ssh restart
再進(jìn)行如下測(cè)試，可以免輸入密碼登錄了。

第七步：配置Spark集群
進(jìn)入Spark的conf目錄：

把spark-env.sh.template拷貝為spark-env.sh
把slaves.template拷貝為slaves

vim打開spark-env.sh修改其中的內(nèi)容，加入以下設(shè)置

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
export SPARK_MASTER_IP=192.168.12.154
export SPARK_WORKER_MEMORY=4g
export SCALA_HOME=/usr/lib/scala/scala-2.11.7
export HADOOP_CONF_DIR=/home/supermap/program/hadoop-2.6.3/conf

SPARK_WORKER_MEMORY：制定的Worker節(jié)點(diǎn)能夠分配給Excutors的內(nèi)存大小，由于配置的虛擬機(jī)是4g內(nèi)存，為了限度使用內(nèi)存，這里設(shè)置4G。
接下來配置slaves文件，把Workers節(jié)點(diǎn)都添加進(jìn)去：

這種配置把master也作為一個(gè)Worker節(jié)點(diǎn)。

以上配置在master和slave1，slave2節(jié)點(diǎn)都做相同處理。

第八步：?jiǎn)?dòng)集群
這里測(cè)試沒有啟動(dòng)Hadoop集群，只需要Spark集群進(jìn)行啟動(dòng)即可，在Spark目錄下，運(yùn)行sbin/start-all.sh即可啟動(dòng)集群服務(wù)。

最后通過訪問spark管理頁面查看服務(wù)狀態(tài)