Driver容錯安全性是什么

本篇內(nèi)容主要講解“Driver容錯安全性是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Driver容錯安全性是什么”吧!

成都創(chuàng)新互聯(lián)公司專注于企業(yè)營銷型網(wǎng)站、網(wǎng)站重做改版、巴里坤哈薩克網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5建站、商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為巴里坤哈薩克等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

從數(shù)據(jù)層面，ReceivedBlockTracker為整個Spark Streaming應(yīng)用程序記錄元數(shù)據(jù)信息。

從調(diào)度層面，DStreamGraph和JobGenerator是Spark Streaming調(diào)度的核心，記錄當(dāng)前調(diào)度到哪一進(jìn)度，和業(yè)務(wù)有關(guān)。

ReceivedBlockTracker在接收到元數(shù)據(jù)信息后調(diào)用addBlock方法，先寫入磁盤中，然后在寫入內(nèi)存中。

根據(jù)batchTime分配屬于當(dāng)前BatchDuration要處理的數(shù)據(jù)到timToAllocatedBlocks數(shù)據(jù)結(jié)構(gòu)中。

Time類的是一個case class，記錄時間，重載了操作符，隱式轉(zhuǎn)換，值得借鑒。

case classTime(private valmillis: Long) {   defmilliseconds: Long = millis   def< (that: Time): Boolean = (this.millis < that.millis)   def<= (that: Time): Boolean = (this.millis <= that.millis)   def> (that: Time): Boolean = (this.millis > that.millis)   def>= (that: Time): Boolean = (this.millis >= that.millis)   def+ (that: Duration): Time = newTime(millis + that.milliseconds)   def- (that: Time): Duration = newDuration(millis - that.millis)   def- (that: Duration): Time = newTime(millis - that.milliseconds)   // Java-friendlier versions of the above.   defless(that: Time): Boolean = this< that   deflessEq(that: Time): Boolean = this<= that   defgreater(that: Time): Boolean = this> that   defgreaterEq(that: Time): Boolean = this>= that   defplus(that: Duration): Time = this+ that   defminus(that: Time): Duration = this- that   defminus(that: Duration): Time = this- that   deffloor(that: Duration): Time = {     valt = that.milliseconds     newTime((this.millis / t) * t)   }   deffloor(that: Duration, zeroTime: Time): Time = {     valt = that.milliseconds     newTime(((this.millis - zeroTime.milliseconds) / t) * t + zeroTime.milliseconds)   }   defisMultipleOf(that: Duration): Boolean =     (this.millis % that.milliseconds == 0)   defmin(that: Time): Time = if(this< that) this elsethat   defmax(that: Time): Time = if(this> that) this elsethat   defuntil(that: Time, interval: Duration): Seq[Time] = {     (this.milliseconds) until (that.milliseconds) by (interval.milliseconds) map (newTime(_))   }   defto(that: Time, interval: Duration): Seq[Time] = {     (this.milliseconds) to (that.milliseconds) by (interval.milliseconds) map (newTime(_))   }   override deftoString: String = (millis.toString + " ms") } objectTime {   implicit valordering = Ordering.by((time: Time) => time.millis) }

跟蹤Time對象，ReceiverTracker的allocateBlocksToBatch方法中的入?yún)atchTime是被JobGenerator的generateJobs方法調(diào)用的。

JobGenerator的generateJobs方法是被定時器發(fā)送GenerateJobs消息調(diào)用的。

GenerateJobs中的時間參數(shù)就是nextTime，而nextTime+=period，這個period就是ssc.graph.batchDuration.milliseconds。

nextTime的初始值是在start方法中傳入的startTime賦值的，即RecurringTimer的getStartTime方法的返回值，是當(dāng)前時間period的(整數(shù)倍+1)。

Period這個值是我們調(diào)用new StreamingContext來構(gòu)造StreamingContext時傳入的Duration值。

ReceivedBlockTracker會清除過期的元數(shù)據(jù)信息，從HashMap中移除，也是先寫入磁盤，然后在寫入內(nèi)存。

元數(shù)據(jù)的生成，消費(fèi)和銷毀都有WAL，所以失敗時就可以從日志中恢復(fù)。從源碼分析中得出只有設(shè)置了checkpoint目錄，才進(jìn)行WAL機(jī)制。

對傳入的checkpoint目錄來創(chuàng)建日志目錄進(jìn)行WAL。

這里是在checkpoint目錄下創(chuàng)建文件夾名為receivedBlockMetadata的文件夾來保存WAL記錄的數(shù)據(jù)。

把當(dāng)前的DStream和JobGenerator的狀態(tài)進(jìn)行checkpoint，該方法是在generateJobs方法最后通過發(fā)送DoCheckpoint消息，來調(diào)用的。

到此，相信大家對“Driver容錯安全性是什么”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

當(dāng)前標(biāo)題：Driver容錯安全性是什么
分享URL：http://www.muchs.cn/article12/geegdc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動態(tài)網(wǎng)站、關(guān)鍵詞優(yōu)化、企業(yè)建站、Google、外貿(mào)網(wǎng)站建設(shè)、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)