Spark工作流程是怎樣的呢

本篇文章給大家分享的是有關(guān)Spark工作流程是怎樣的呢，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

成都創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比邱縣網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式邱縣網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋邱縣地區(qū)。費(fèi)用合理售后完善，十余年實(shí)體公司更值得信賴。

一、Spark架構(gòu)組成圖：

Glossary

The following table summarizes terms you’ll see used to refer to cluster concepts:

Term	Meaning
Application	基于Spark的用戶程序(創(chuàng)建了一個(gè)SparkContext).由一個(gè)driver 進(jìn)程和N個(gè)executor 進(jìn)程 on the cluster模式下.
Application jar	Spark包含的jar包
Driver program	一個(gè)Driver進(jìn)程運(yùn)行 main()方法,創(chuàng)建一個(gè)SparkContext
Cluster manager	提交集群(--master local/standalone/on yarn)模式下的資源管理(提交設(shè)置code memory....)
Deploy mode	區(qū)分Driver進(jìn)程在什么地方cluster or client,主要區(qū)別是Driver在本地還是集群的Container里
Worker node	運(yùn)行Spark代碼的應(yīng)用程序的節(jié)點(diǎn)(standalone模式概念),在(on yarn)模式下是NodeManager
Executor	一個(gè)Executor進(jìn)程,運(yùn)行在Container里,能夠運(yùn)行我們Task,保存數(shù)據(jù)到內(nèi)存里或者磁盤上，每一個(gè)應(yīng)用程序有自己獨(dú)立的Executor
Task	最小的工作單元,Driver發(fā)送代碼到Executor然后Task執(zhí)行
Job	每一個(gè)Action就會(huì)產(chǎn)生job(map,conllect)
Stage	每個(gè)Job被拆成Task集合,遇到shuffle會(huì)stage+1

以上就是Spark工作流程是怎樣的呢，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享名稱：Spark工作流程是怎樣的呢
網(wǎng)頁(yè)URL：http://muchs.cn/article2/ieggoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、小程序開發(fā)、靜態(tài)網(wǎng)站、軟件開發(fā)、定制網(wǎng)站、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)