FLINKSIDDHIADDON學(xué)習(xí)筆記

SIDDHI 是一款功能強(qiáng)大的CEP 引擎，具有自己的DSL,豐富的模式匹配功能和可擴(kuò)展性, 感謝陳浩同學(xué)提供了SIDDHI和FLINK的整合功能 https://github.com/haoch/flink-siddhi 本文主要介紹了這個(gè)ADDON的一些實(shí)現(xiàn)思路

創(chuàng)新互聯(lián)是專業(yè)的秀嶼網(wǎng)站建設(shè)公司，秀嶼接單;提供成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司,網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行秀嶼網(wǎng)站開發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

  1. 將FLINK STREAM 轉(zhuǎn)化為 SIDDHI STREAM 定義

??用法： SiddhiCEP.registerStream(streamName, FlinkDataStream, fieldNames)

??通過(guò) FlinkDataStream.getType 獲得流對(duì)象的類型定義.registerStream方法會(huì)構(gòu)造一個(gè) SiddhiStreamSchema 對(duì)象,根據(jù)流對(duì)象的類型定義,自動(dòng)獲取每個(gè)field對(duì)應(yīng)的數(shù)據(jù)類型存在內(nèi)部的fieldTypes數(shù)組中.

??SiddhiStreamSchema 內(nèi)部會(huì)創(chuàng)建一個(gè)Siddhi StreamDefinition對(duì)象, StreamDefinition的attribute的定義根據(jù)fieldNames + fieldTypes 來(lái)添加.SiddhiTypeFactory.getAttributeType 負(fù)責(zé)將Flink 的數(shù)據(jù)類型映射為Siddhi的數(shù)據(jù)類型, 并可自動(dòng)生成一段Define Stream的定義(見 SiddhiStreamSchema.getStreamDefinitionExpression 方法) define stream [streamName] ([fieldName 1] [fieldType 1], ...[fieldName n] [fieldType n])

??SiddhiStreamSchema 包括一個(gè)StreamSerializer： 用于將DataStream 中的對(duì)象轉(zhuǎn)化為 Siddhi Stream 的輸入(Object Array):
????如果流對(duì)象是一個(gè)簡(jiǎn)單類型 Atomic Type 直接將流對(duì)象放到 ARRAY中
????如果流對(duì)象是Tuple 類型，直接將Tuple 中前N個(gè)值放到ARRAY中
????如果流對(duì)象是Pojo或者CaseClass類型，直接根據(jù)每個(gè)fieldName 獲取Class對(duì)應(yīng)的屬性放到ARRAY中

  1. 串聯(lián)FLINK STREAM 和 SIDDHI STREAM

??SiddhiStream: 抽象的Stream基類

??convertDataStream 將原始的FLINK流轉(zhuǎn)化為Tuple類型的流,Tuple的第一個(gè)元素為StreamId, 第二個(gè)元素為原來(lái)流中的數(shù)據(jù)，支持普通Stream 和 KeyedStream

??ExecutionSiddhiStream: 構(gòu)建 SiddhiOperatorContext 并調(diào)用SiddhiStreamFactory.createDataStream 創(chuàng)建了集成Siddhi的 DataStream. DataStream的類型為Tuple的子類.SiddhiTypeFactory.getTupleTypeInformation: 其核心思路是通過(guò)Siddhi輸出Stream的StreamDefinition獲得其Attribute的定義，再通過(guò) TypeInfoParser.parse構(gòu)造Flink Tuple 類型的定義

??ExecutableStream 根據(jù)Siddhi query 創(chuàng)建ExecutionSiddhiStream對(duì)象
??SingleSiddhiStream, UnionSiddhiStream: ExecutableStream 的子類，支持Fluent Style的鏈?zhǔn)秸{(diào)用. UnionSiddhiStream 調(diào)用了DataStream.union 方法

??SiddhiStreamFactory.createDataStream 通過(guò) FLINK DataStream的transform方法使用了自定義的StreamOperator: SiddhiStreamOperator. 在 AbstractSiddhiOperator 的 setup 方法中創(chuàng)建SiddhiManager 和 SiddhiAppRuntime 并注冊(cè)了 InputHandler 和 OutputCallback (StreamOutputHandler)

??SiddhiStreamOperator.processElement 需要處理兩種場(chǎng)景:
????Flink TimeCharacteristic = ProcessingTime: 先調(diào)用StreamSerializer將數(shù)據(jù)轉(zhuǎn)化為Object Array, 再直接調(diào)用InputHandler.send將數(shù)據(jù)發(fā)送給Siddhi處理
????Flink TimeCharacteristic = EventTime: 緩存接收到的StreamRecord 到內(nèi)部的priorityQueue中,直到收到Watermark, 將priorityQueue中小于watermark的StreamRecord一次發(fā)送給Siddhi處理

  StreamOutputHandler：根據(jù)Output的TypeInfo將Siddhi Event 轉(zhuǎn)化為 Flink StreamRecord. 再轉(zhuǎn)發(fā)到SiddhiStreamOperator的Output

  1. CHECKPOINT

??SiddhiStreamOperator中保留了兩種State信息，一種是priorityQueue中保存的由于watermark未發(fā)送給Siddhi的消息. 另一種是Siddhi本身的State, 通過(guò)SiddhiAppRuntime.snapshot() 獲得

分享文章：FLINKSIDDHIADDON學(xué)習(xí)筆記
本文鏈接：http://muchs.cn/article24/iheice.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、微信公眾號(hào)、搜索引擎優(yōu)化、網(wǎng)頁(yè)設(shè)計(jì)公司、品牌網(wǎng)站設(shè)計(jì)、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都定制網(wǎng)站建設(shè)