SparkHistoryServer配置部署-創(chuàng)新互聯(lián)

簡介

為了可以通過WebUI控制臺頁面來查看具體的運行細節(jié),解決應用程序運行結束,無法繼續(xù)查看監(jiān)控集群信息。無法回顧運行的程序細節(jié),配置開啟spark.history服務.Spark History Server可以很好地解決上面的問題。

創(chuàng)新互聯(lián)服務項目包括華鎣網站建設、華鎣網站制作、華鎣網頁制作以及華鎣網絡營銷策劃等。多年來,我們專注于互聯(lián)網行業(yè),利用自身積累的技術優(yōu)勢、行業(yè)經驗、深度合作伙伴關系等,向廣大中小型企業(yè)、政府機構等提供互聯(lián)網行業(yè)的解決方案,華鎣網站推廣取得了明顯的社會效益與經濟效益。目前,我們服務的客戶以成都為中心已經輻射到華鎣省份的部分城市,未來相信會繼續(xù)擴大服務區(qū)域并繼續(xù)獲得客戶的支持與信任!

配置文件位置:

$SPARK_HOME$/conf目錄下的spark-defaults.conf文件。默認spark-defaults.conf是不存在的,我們可以根據(jù)Spark提供的template文件新建。

配置參數(shù)描述

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
#spark集群的Master節(jié)點的ip地址

spark.history.updateInterval
#默認值:10,以秒為單位,更新日志相關信息的時間間隔

spark.history.retainedApplications
#默認值:50,在內存中保存Application歷史記錄的個數(shù),如果超過這個值,舊的應用程序信息將被刪除,當再次訪問已被刪除的應用信息時需要重新構建頁面。

spark.history.ui.port
#默認值:4040,HistoryServer的web端口

spark.history.ui.acls.enable
#默認值:false,授權用戶查看應用程序信息的時候是否檢查acl。如果啟用,只有應用程序所有者和spark.ui.view.acls指定的用戶可以查看應用程序信息;否則,不做任何檢查

spark.eventLog.enabled 
#默認值:false ,是否記錄Spark事件,用于應用程序在完成后重構webUI

spark.eventLog.dir
#默認值:file:///tmp/spark-events,保存日志相關信息的路徑,可以是hdfs://開頭的HDFS路徑,也可以是file://開頭的本地路徑,都需要提前創(chuàng)建

spark.eventLog.compress 
#默認值:false,是否壓縮記錄Spark事件,前提spark.eventLog.enabled為true,默認使用的是snappy

本地文件存儲日志配置案例:

spark-defaults.conf

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
spark.history.ui.port            18080
spark.history.retainedApplications  10
spark.eventLog.compress          true
spark.eventLog.enabled           true
spark.eventLog.dir               file:/data/sparkhistory
spark.history.fs.logDirectory    file:/data/sparkhistory

啟動服務

$SPARK_HOME/sbin/start-history-server.sh

訪問

瀏覽器:http://nodeIP:18080

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。

新聞標題:SparkHistoryServer配置部署-創(chuàng)新互聯(lián)
新聞來源:http://muchs.cn/article14/cesgge.html

成都網站建設公司_創(chuàng)新互聯(lián),為您提供建站公司、網站導航、小程序開發(fā)、品牌網站制作、靜態(tài)網站外貿建站

廣告

聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

網站優(yōu)化排名