flink好做spark卻不好做的場景有哪些

flink好做spark卻不好做的場景有哪些，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

成都創(chuàng)新互聯(lián)公司是專業(yè)的襄州網(wǎng)站建設(shè)公司，襄州接單;提供成都網(wǎng)站制作、做網(wǎng)站,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行襄州網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊,希望更多企業(yè)前來合作!

經(jīng)常有粉絲問我該選flink和spark streaming

業(yè)務(wù)選型對新手來說是件非常困難的事情，對于經(jīng)驗豐富又經(jīng)常思考的人來說就很簡單。

選型的時候個人準(zhǔn)備知識：

1.深入了解框架。

2.深入了解框架的周邊生態(tài)。

3.深入了解你自己的業(yè)務(wù)場景。

就拿flink和spark streaming來說吧，要是理解其設(shè)計靈感就會很簡單的理解該選誰：

spark 是做批處理起家，然后以微批的形式開創(chuàng)了流處理。使用場景很顯而易見了，允許一點延遲，批量處理，吞吐量優(yōu)先地，而且spark streaming貢獻(xiàn)者這么多依然很穩(wěn)定。

flink是以流處理起家，然后以流處理的靈感去創(chuàng)建批處理。那就很適合實時性高的場景了。目前還是存在bug的。

這樣貌似還是很抽象，就以具體場景來說吧，flink好做而spark streaming不好做的：

1.全局去重，全局聚合操作，比如distinct ，uv等業(yè)務(wù)場景。flink適合，spark streaming做起來比較麻煩，后者要借助狀態(tài)算子或者第三方存儲，比如redis，alluxio等。

2.開窗操作且要求同一個窗口多次輸出。這個可以用flink的trigger，spark streaming比較麻煩。

3.僅一次處理。spark streaming實現(xiàn)僅一次處理大部分都是依賴于輸出端的冪等性。而flink，可以通過其分布式checkpoint的性質(zhì)結(jié)合sink的事物來實現(xiàn)，也即分布式兩段提交協(xié)議。當(dāng)然，flink也可以利用sink的冪等性來實現(xiàn)僅一次處理。

4.更容易實現(xiàn)ddl，dml等完整的sql支持，進(jìn)而實現(xiàn)完全sql實現(xiàn)業(yè)務(wù)開發(fā)，類似blink。spark streaming需要微批rdd轉(zhuǎn)化為表，也是一個臨時小表，不是全局的。

5.狀態(tài)管理。flink可以方便地使用文件后端實現(xiàn)大狀態(tài)管理，但是頻繁發(fā)作也會引發(fā)linux系統(tǒng)操作文件的一些bug。當(dāng)然，spark streaming可以靈活的使用第三方接口比如alluxio等也很方便。

看完上述內(nèi)容，你們掌握flink好做spark卻不好做的場景有哪些的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

本文名稱：flink好做spark卻不好做的場景有哪些
URL標(biāo)題：http://muchs.cn/article46/ipgohg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、網(wǎng)站維護(hù)、App開發(fā)、網(wǎng)站內(nèi)鏈、品牌網(wǎng)站設(shè)計、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)