SPARK安裝

使用 安裝包：

為汕城等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù)，及汕城網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都做網(wǎng)站、網(wǎng)站建設(shè)、汕城網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

scala-2.10.3.tgz

spark-0.9.0-incubating-bin-hadoop2.tgz

hadoop-2.3.0-cdh6.0.0.tar.gz

jdk1.7.0_45

下載地址：http://mirror.bit.edu.cn/apache/spark/spark-0.9.0-incubating/

spark-0.9.0-incubating-bin-hadoop2.tgz

http://archive.cloudera.com/cdh6/cdh/5/下載 sacala和hadoop

安裝軟件

tarzxvf spark-0.9.0-incubating-bin-hadoop2.tgz

tar zxvf scala-2.10.3.tgz

配置用戶環(huán)境變量~/.bashrc

export JAVA_HOME=/hadoop/jdk1.7.0_45

export HADOOP_HOME=/hadoop/hadoop

export HADOOP_CONF_DIR=/hadoop/hadoop-config

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export HADOOP_HOME_WARN_SUPPRESS=1

export SCALA_HOME=/hadoop/scala-2.10.3

export SPARK_EXAMPLES_JAR=/hadoop/spark/examples/target/spark-examples_2.10-0.9.0-incubating.jar

export SPARK_HOME=/hadoop/spark-0.9.0-incubating-bin-hadoop2

配置環(huán)境變量: /hadoop/spark-0.9.0-incubating-bin-hadoop2/conf下

修改spark-env.sh文件，加入spark必要的配置：

export SCALA_HOME=/hadoop/scala-2.10.3

export JAVA_HOME=/hadoop/jdk1.7.0_45

export SPARK_HOME=/hadoop/spark

拷貝環(huán)境變量到其他節(jié)點(diǎn)，立即 生效 source .bash_profile

測試環(huán)境變量 scala -version

配置conf文件：

vi slaves

bigdata-2

bigdata-4

文件分發(fā)至其他節(jié)點(diǎn)

spark啟動：

cd /hadoop/spark-0.9.0-incubating-bin-hadoop2/sbin

./start-all.sh

查看進(jìn)程：

jps

22580 NameNode

25767 Master

27758 Jps

23024 ResourceManager

22812 SecondaryNameNode

節(jié)點(diǎn)進(jìn)程：

70869 Worker

70150 NodeManager

71462 Jps

70023 DataNode

~安裝完畢~安裝完畢~安裝完畢~安裝完畢~安裝完畢~

spark使用：

運(yùn)行SparkPi： cd /hadoop/spark/bin

ll /hadoop/spark/bin

-rw-rw-r--. 1 hadoop hadoop 2601 2月 3 03:13 compute-classpath.cmd

-rwxrwxr-x. 1 hadoop hadoop 3330 2月 3 03:13 compute-classpath.sh

-rwxrwxr-x. 1 hadoop hadoop 2070 2月 3 03:13 pyspark

-rw-rw-r--. 1 hadoop hadoop 1827 2月 3 03:13 pyspark2.cmd

-rw-rw-r--. 1 hadoop hadoop 1000 2月 3 03:13 pyspark.cmd

-rwxrwxr-x. 1 hadoop hadoop 3055 2月 3 03:13 run-example

-rw-rw-r--. 1 hadoop hadoop 2047 2月 3 03:13 run-example2.cmd

-rw-rw-r--. 1 hadoop hadoop 1012 2月 3 03:13 run-example.cmd

-rwxrwxr-x. 1 hadoop hadoop 5151 2月 3 03:13 spark-class

-rwxrwxr-x. 1 hadoop hadoop 3212 2月 3 03:13 spark-class2.cmd

-rw-rw-r--. 1 hadoop hadoop 1010 2月 3 03:13 spark-class.cmd

-rwxrwxr-x. 1 hadoop hadoop 3038 2月 3 03:13 spark-shell

-rwxrwxr-x. 1 hadoop hadoop 941 2月 3 03:13 spark-shell.cmd

. /run-example org.apache.spark.examples.SparkPi spark://master:7077  

網(wǎng)站標(biāo)題：SPARK安裝
文章出自：http://muchs.cn/article38/ihdepp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)、外貿(mào)網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化、域名注冊、外貿(mào)建站、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)