怎么?使用Spark的cache機制觀察效率的提升

這篇文章主要講解了“怎么使用Spark的cache機制觀察效率的提升”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“怎么使用Spark的cache機制觀察效率的提升”吧！

成都創(chuàng)新互聯(lián)公司專業(yè)提供成都主機托管四川主機托管成都服務器托管四川服務器托管，支持按月付款！我們的承諾：貴族品質(zhì)、平民價格，機房位于中國電信/網(wǎng)通/移動機房，多線BGP機房服務有保障！

使用Spark的cache機制觀察一下效率的提升

基于上面的內(nèi)容，我們在執(zhí)行一下以下語句：

發(fā)現(xiàn)同樣計算結(jié)果是15.

此時我們在進入Web控制臺：

發(fā)現(xiàn)控制臺中清晰展示我們執(zhí)行了兩次“count”操作。

現(xiàn)在我們把“sparks”這個變量執(zhí)行一下“cache”操作：

此時在執(zhí)行count操作，查看Web控制臺：

此時發(fā)現(xiàn)我們前后執(zhí)行的三次count操作耗時分別是0.7s、0.3s、0.5s。

此時我們 第四次執(zhí)行count操作，看一下Web控制臺的效果：

控制臺上清晰的第四次操作僅僅花費了17ms，比前三次的操作速度大約快了30倍的樣子。這就是緩存帶來的巨大速度提升，而基于緩存是Spark的計算的核心之一！

第三步：構(gòu)建Spark的IDE開發(fā)環(huán)境

Step 1：目前世界上Spark首選的InteIIiJ IDE開發(fā)工具是IDEA,我們下載InteIIiJ IDEA:

這里下載是最新版本Version 13.1.4：

關于版本的選擇，官方給出了如下選擇依據(jù)：

我們在這里選擇Linux系統(tǒng)下的”Community Edition FREE”這個版本，這能完全滿足我們?nèi)我鈴碗s程度的Scala開發(fā)需求。

家林下載完成后保存在本地的如下位置：

Step 2:安裝IDEA并配置IDEA系統(tǒng)環(huán)境變量

創(chuàng)建“/usr/local/idea”目錄：

把我們下載的idea壓縮包解壓到該目錄下：

安裝完成后，為了方便使用其bin目錄下的命令，我們把它配置在“~/.bashrc”:

感謝各位的閱讀，以上就是“怎么使用Spark的cache機制觀察效率的提升”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對怎么使用Spark的cache機制觀察效率的提升這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關知識點的文章，歡迎關注！

分享題目：怎么?使用Spark的cache機制觀察效率的提升
網(wǎng)站URL：http://muchs.cn/article6/ppjsog.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供動態(tài)網(wǎng)站、用戶體驗、網(wǎng)站營銷、響應式網(wǎng)站、App開發(fā)、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)