作者: 施曉罡
創(chuàng)新互聯(lián)長期為上1000家客戶提供的網站建設服務,團隊從業(yè)經驗10年,關注不同地域、不同群體,并針對不同對象提供差異化的產品和服務;打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網生態(tài)環(huán)境。為原陽企業(yè)提供專業(yè)的成都網站設計、做網站、成都外貿網站建設公司,原陽網站改版等技術服務。擁有十載豐富建站經驗和眾多成功案例,為您定制開發(fā)。本文來自2018年8月11日在北京舉行的 Flink Meetup會議,分享來自于施曉罡,目前在阿里大數據團隊部從事Blink方面的研發(fā),現(xiàn)在主要負責Blink狀態(tài)管理和容錯相關技術的研發(fā)。
本文主要內容如下:
有狀態(tài)的流數據處理;
Flink中的狀態(tài)接口;
狀態(tài)管理和容錯機制實現(xiàn);
計算任務的結果不僅僅依賴于輸入,還依賴于它的當前狀態(tài),其實大多數的計算都是有狀態(tài)的計算。 比如wordcount,給一些word,其計算它的count,這是一個很常見的業(yè)務場景。count做為輸出,在計算的過程中要不斷的把輸入累加到count上去,那么count就是一個state。
狀態(tài)數據的存儲和訪問;
狀態(tài)數據的備份和恢復;
在傳統(tǒng)的批處理中,數據是劃分為塊分片去完成的,然后每一個Task去處理一個分片。當分片執(zhí)行完成后,把輸出聚合起來就是最終的結果。在這個過程當中,對于state的需求還是比較小的。
對于流計算而言,對State有非常高的要求,因為在流系統(tǒng)中輸入是一個無限制的流,會運行很長一段時間,甚至運行幾天或者幾個月都不會停機。在這個過程當中,就需要將狀態(tài)數據很好的管理起來。很不幸的是,在傳統(tǒng)的流計算系統(tǒng)中,對狀態(tài)管理支持并不是很完善。比如storm,沒有任何程序狀態(tài)的支持,一種可選的方案是storm+hbase這樣的方式去實現(xiàn),把這狀態(tài)數據存放在Hbase中,計算的時候再次從Hbase讀取狀態(tài)數據,做更新在寫入進去。這樣就會有如下幾個問題
流計算系統(tǒng)的任務和Hbase的數據存儲有可能不在同一臺機器上,導致性能會很差。這樣經常會做遠端的訪問,走網絡和存儲;
備份和恢復是比較困難,因為Hbase是沒有回滾的,要做到Exactly onces很困難。在分布式環(huán)境下,如果程序出現(xiàn)故障,只能重啟Storm,那么Hbase的數據也就無法回滾到之前的狀態(tài)。比如廣告計費的這種場景,Storm+Hbase是是行不通的,出現(xiàn)的問題是錢可能就會多算,解決以上的辦法是Storm+mysql,通過mysql的回滾解決一致性的問題。但是架構會變得非常復雜。性能也會很差,要commit確保數據的一致性。
Flink在最早設計的時候就意識到了這個問題,并提供了豐富的狀態(tài)訪問和容錯機制。如下圖所示:
Keyed States
Keyed States的使用
Flink也提供了Keyed States多種數據結構類型
Keyed States的動態(tài)擴容
Operator States的使用
Operator States的數據結構不像Keyed States豐富,現(xiàn)在只支持List
Operator States多種擴展方式
Operator States的動態(tài)擴展是非常靈活的,現(xiàn)提供了3種擴展,下面分別介紹:
ListState:并發(fā)度在改變的時候,會將并發(fā)上的每個List都取出,然后把這些List合并到一個新的List,然后根據元素的個數在均勻分配給新的Task;
UnionListState:相比于ListState更加靈活,把劃分的方式交給用戶去做,當改變并發(fā)的時候,會將原來的List拼接起來。然后不做劃分,直接交給用戶;
以上是Flink Operator States提供的3種擴展方式,用戶可以根據自己的需求做選擇。
使用Checkpoint提高程序的可靠性
用戶可以根據的程序里面的配置將checkpoint打開,給定一個時間間隔后,框架會按照時間間隔給程序的狀態(tài)進行備份。當發(fā)生故障時,F(xiàn)link會將所有Task的狀態(tài)一起恢復到Checkpoint的狀態(tài)。從哪個位置開始重新執(zhí)行。
Flink也提供了多種正確性的保障,包括:
AT LEAST ONCE;
Exactly once;
備份為保存在State中的程序狀態(tài)數據
Flink也提供了一套機制,允許把這些狀態(tài)放到內存當中。做Checkpoint的時候,由Flink去完成恢復。
從已停止作業(yè)的運行狀態(tài)中恢復
當組件升級的時候,需要停止當前作業(yè)。這個時候需要從之前停止的作業(yè)當中恢復,F(xiàn)link提供了2種機制恢復作業(yè):
Savepoint:是一種特殊的checkpoint,只不過不像checkpoint定期的從系統(tǒng)中去觸發(fā)的,它是用戶通過命令觸發(fā),存儲格式和checkpoint也是不相同的,會將數據按照一個標準的格式存儲,不管配置什么樣,F(xiàn)link都會從這個checkpoint恢復,是用來做版本升級一個非常好的工具;
下面介紹一下狀態(tài)管理和容錯機制實現(xiàn)方式,F(xiàn)link提供了3種不同的StateBackend
MemoryStateBackend
FsStateBackend
RockDBStateBackend
用戶可以根據自己的需求選擇,如果數據量較小,可以存放到MemoryStateBackend和FsStateBackend中,如果數據量較大,可以放到RockDB中。
下面介紹HeapKeyedStateBackend和RockDBKeyedStateBackend
Checkpoint的執(zhí)行流程是按照Chandy-Lamport算法實現(xiàn)的。
全量Checkpoint會在每個節(jié)點做備份數據時,只需要將數據都便利一遍,然后寫到外部存儲中,這種情況會影響備份性能。在此基礎上做了優(yōu)化。
RockDB的數據會更新到內存,當內存滿時,會寫入到磁盤中。增量的機制會將新產生的文件COPY持久化中,而之前產生的文件就不需要COPY到持久化中去了。通過這種方式減少COPY的數據量,并提高性能。
阿里是從2015年開始調研Flink,2015年10月啟動Blink項目,并完善Flink在大規(guī)模生產下的一些優(yōu)化和改進。2016年雙11采用了Blink系統(tǒng),為搜索,推薦,廣告業(yè)務提供服務。2017年5月Blink已成為阿里的實時計算引擎。
正在做的工作,基于State重構Window方面的一些優(yōu)化,阿里也正在將功能做完善。后續(xù)將包括asynchronous Checkpoint的功能完善,并和社區(qū)進一步溝通和合作。幫助Flink社區(qū)完善相關方面的工作。
更多資訊請訪問 Apache Flink 中文社區(qū)網站
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
網站題目:Flink狀態(tài)管理和容錯機制介紹-創(chuàng)新互聯(lián)
當前URL:http://muchs.cn/article46/ceddhg.html
成都網站建設公司_創(chuàng)新互聯(lián),為您提供用戶體驗、移動網站建設、動態(tài)網站、軟件開發(fā)、網站建設、電子商務
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內容