這篇文章給大家介紹怎么在centOS7系統(tǒng)中安裝Spark,內(nèi)容非常詳細(xì),感興趣的小伙伴們可以參考借鑒,希望對(duì)大家能有所幫助。
10年積累的成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn),可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你,你也不認(rèn)識(shí)我。但先做網(wǎng)站后付款的網(wǎng)站建設(shè)流程,更有陳巴爾虎免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
環(huán)境說(shuō)明:
操作系統(tǒng): centos7 64位 3臺(tái)
centos7-1 192.168.190.130 master
centos7-2 192.168.190.129 slave1
centos7-3 192.168.190.131 slave2
安裝spark需要同時(shí)安裝如下內(nèi)容:
jdk scale
1.安裝jdk,配置jdk環(huán)境變量
這里不講如何安裝配置jdk,自行百度。
2.安裝scala
#tar -zxvf scala-2.13.0-M4.tgz 再次修改/etc/profile文件,添加如下內(nèi)容: export SCALA_HOME=$WORK_SPACE/scala-2.13.0-M4 export PATH=$PATH:$SCALA_HOME/bin #source /etc/profile // 讓其立即生效 #scala -version //查看scala是否安裝完成
3.安裝spark
Source code: Spark 源碼,需要編譯才能使用,另外 Scala 2.11 需要使用源碼編譯才可使用
Pre-build with user-provided Hadoop: “Hadoop free” 版,可應(yīng)用到任意 Hadoop 版本
Pre-build for Hadoop 2.7 and later: 基于 Hadoop 2.7 的預(yù)先編譯版,需要與本機(jī)安裝的 Hadoop 版本對(duì)應(yīng)??蛇x的還有 Hadoop 2.6。我這里因?yàn)檠b的hadoop是3.1.0,所以直接安裝for hadoop 2.7 and later的版本。
注:hadoop的安裝請(qǐng)查看我的上一篇博客,不在重復(fù)描述。
centOS7下Spark安裝配置 #mkdir spark #cd /usr/spark #tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz #vim /etc/profile #添加spark的環(huán)境變量,加如PATH下、export出來(lái) #source /etc/profile #進(jìn)入conf目錄下,把spark-env.sh.template拷貝一份改名spark-env.sh #cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf #cp spark-env.sh.template spark-env.sh #vim spark-env.sh export SCALA_HOME=/usr/scala/scala-2.13.0-M4 export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64 export HADOOP_HOME=/usr/hadoop/hadoop-3.1.0 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_HOME=/usr/spark/spark-2.3.1-bin-hadoop2.7 export SPARK_MASTER_IP=master export SPARK_EXECUTOR_MEMORY=1G #進(jìn)入conf目錄下,把slaves.template拷貝一份改名為slaves #cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf #cp slaves.template slaves #vim slaves #添加節(jié)點(diǎn)域名到slaves文件中 #master //該域名為centos7-1的域名 #slave1 //該域名為centos7-2的域名 #slave2 //該域名為centos7-3的域名
啟動(dòng)spark
#啟動(dòng)spark之前先要把hadoop節(jié)點(diǎn)啟動(dòng)起來(lái) #cd /usr/hadoop/hadoop-3.1.0/ #sbin/start-all.sh #jps //檢查啟動(dòng)的線程是否已經(jīng)把hadoop啟動(dòng)起來(lái)了 #cd /usr/spark/spark-2.3.1-bin-hadoop2.7 #sbin/start-all.sh 備注:在slave1\slave2節(jié)點(diǎn)上也必須按照上面的方式安裝spark,或者直接拷貝一份到slave1,slave2節(jié)點(diǎn)上 #scp -r /usr/spark root@slave1ip:/usr/spark
啟動(dòng)信息如下:
starting org.apache.spark.deploy.master.Master, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
slave2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.com.cn.out
slave1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.com.cn.out
master: starting org.apache.spark.deploy.worker.Worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
測(cè)試Spark集群:
用瀏覽器打開(kāi)master節(jié)點(diǎn)上的spark集群url:http://192.168.190.130:8080/
關(guān)于怎么在centOS7系統(tǒng)中安裝Spark就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò),可以把它分享出去讓更多的人看到。
本文題目:怎么在centOS7系統(tǒng)中安裝Spark
網(wǎng)站路徑:http://muchs.cn/article36/ghihsg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站設(shè)計(jì)公司、、靜態(tài)網(wǎng)站、自適應(yīng)網(wǎng)站、品牌網(wǎng)站制作、電子商務(wù)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)