SparkSql的安裝過(guò)程

本篇內(nèi)容介紹了“Spark Sql的安裝過(guò)程”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)公司主營(yíng)港南網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,重慶App定制開(kāi)發(fā),港南h5微信小程序開(kāi)發(fā)搭建,港南網(wǎng)站營(yíng)銷(xiāo)推廣歡迎港南等地區(qū)企業(yè)咨詢(xún)

一、啟動(dòng)zk、啟動(dòng)hdfs集群、啟動(dòng)hive服務(wù)（hive  --service  metastore）

二、修改spark中conf下的hive-site.xml配置文件（就和hive的client的配置文件相同）

    注：這里配置文件只需要修改一臺(tái)主機(jī)就可以了，這里相當(dāng)于client

三、啟動(dòng)spark集群

四、啟動(dòng)spark sql(./bin/spark-sql --master spark://node11:7077 --executor-memory 512m)

    注：配置文件spark-env.sh中如果配置的是ip 那么命令就需要用ip，如果配置文件中配置的是主機(jī)名，那么命令就要用主機(jī)名；

SparkSQL thrift server環(huán)境搭建

1、hive-site.xml 中添加配置

<property>

<name>hive.server2.thrift.min.worker.threads</name>

<value>5</value>

<description>Minimum number of Thrift worker threads</description>

</property>

<property>

<name>hive.server2.thrift.max.worker.threads</name>

<value>500</value>

<description>Maximum number of Thrift worker threads</description>

</property>

<property>

<name>hive.server2.thrift.port</name>

<value>10000</value>

<description>Port number of HiveServer2 Thrift interface. Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description>

</property>

<property>

<name>hive.server2.thrift.bind.host</name>

<value>node12</value><!--  這里就是當(dāng)前主機(jī)名 -->

<description>Bind host on which to run the HiveServer2 Thrift interface.Can be overridden by setting$HIVE_SERVER2_THRIFT_BIND_HOST</description>

</property>

二、啟動(dòng)spark thrift server

./sbin/start-thriftserver.sh --master spark://192.168.57.4:7077 --executor-memory 512M

三、啟動(dòng)以后可以通過(guò)bin目錄下beeline訪問(wèn)

./bin/beeline

!connect  jdbc:hive2://node12:10000

注：這樣可以進(jìn)入sparksql控制臺(tái)，但是不能查詢(xún)，報(bào)錯(cuò)，需要將hdfs集群中core-site.xml 和 hdfs-site.xml拷貝到spark中conf下（每個(gè)spark集群節(jié)點(diǎn)都要拷貝）

“Spark Sql的安裝過(guò)程”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

網(wǎng)頁(yè)名稱(chēng)：SparkSql的安裝過(guò)程
標(biāo)題路徑：http://muchs.cn/article36/ihsspg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App開(kāi)發(fā)、商城網(wǎng)站、靜態(tài)網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)