2.spark基本概念

創(chuàng)新互聯(lián)公司主營東山網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,app開發(fā)定制,東山h5重慶小程序開發(fā)搭建,東山網(wǎng)站營銷推廣歡迎東山等地區(qū)企業(yè)咨詢

Application

用戶編寫的Spark應(yīng)用程序。Application的main方法為應(yīng)用程序的入口，用戶通過Spark的API，定義了RDD和對RDD的操作。

Job

?提供給Spark運行的作業(yè)，一個Application中以Action為劃分邊界往往會產(chǎn)生多個Job。Spark采用惰性機制，對RDD的創(chuàng)建和轉(zhuǎn)換并不會立即執(zhí)行，只有在遇到Action時才會生成一個Job，然后統(tǒng)一調(diào)度執(zhí)行。

Stage

每個Job以Shuffle為邊界劃分出的不同階段， 其名稱為Stage。Stage有非最終的Stage（Shuffle Map Stage）和最終的Stage（Result Stage）兩種。

在對Job中的所有操作劃分Stage時，一般會按照倒序進行：即從Action開始，遇到窄依賴操作，則劃分到同一個執(zhí)行階段；遇到寬依賴操作，則劃分一個新的執(zhí)行階段，且新的階段為之前階段的parent，然后依次類推遞歸執(zhí)行。child Stage需要等待所有的parent Stage執(zhí)行完之后才可以執(zhí)行，這時Stage之間根據(jù)依賴關(guān)系構(gòu)成了一個大粒度的DAG。在一個Stage內(nèi)，所有的操作以串行的Pipeline的方式，由一組Task完成計算。

Task

真正執(zhí)行的工作單元，對一個Stage之內(nèi)的RDD進行串行操作的計算任務(wù)。多個Task組成一個Stage。

Task分為ShuffleMapTask和ResultTask兩種，位于最后一個Stage的Task為ResultTask，其他階段的屬于ShuffleMapTask。

Cluster Manager

在集群上獲取資源的外部服務(wù)。Cluster Manager可以為自帶的Standalone、或第三方的Yarn和Mesos。

Cluster Manager一般采用Master-Slave結(jié)構(gòu)。以Yarn為例，部署ResourceManager服務(wù)的節(jié)點為Master，負責集群中所有計算資源的統(tǒng)一管理和分配；部署NodeManager服務(wù)的節(jié)點為Slave，負責在當前節(jié)點創(chuàng)建一個或多個具備獨立計算能力的JVM實例，在Spark中，這些節(jié)點也叫做Worker。

Executor

某個Application運行在worker節(jié)點上的一個進程，? 該進程負責運行某些Task，并將結(jié)果返回給Driver，同時為需要緩存的RDD提供存儲功能。

Driver

準備Spark應(yīng)用程序的運行環(huán)境，負責執(zhí)行用戶Application中的main方法，提交Job，并將Job轉(zhuǎn)化為Task，在各個Executor進程間協(xié)調(diào)Task的調(diào)度。

Spark有Client和Cluster兩種部署模式。Application以Client模式部署時，Driver運行于Client節(jié)點；而以Cluster模式部署時，Driver運行于Worker節(jié)點，與Executor一樣由Cluster Manager啟動。

DAGScheduler

根據(jù)Job構(gòu)建DAG圖，將Job拆分成多個Stage并提交給TaskScheduler。

TaskScheduler

將Stage拆分成多個Task并提交給worker運行，Executor運行什么Task就是在此處分配的。

---

忠于技術(shù)，熱愛分享。歡迎關(guān)注公眾號：java大數(shù)據(jù)編程，了解更多技術(shù)內(nèi)容。

網(wǎng)頁名稱：2.spark基本概念
文章出自：http://muchs.cn/article28/gececp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機、網(wǎng)站內(nèi)鏈、App設(shè)計、移動網(wǎng)站建設(shè)、電子商務(wù)、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)