第84課：StreamingContext、DStream、Receiver深度剖析

本課分成四部分講解，第一部分對(duì)StreamingContext功能及源碼剖析；第二部分對(duì)DStream功能及源碼剖析；第三部分對(duì)Receiver功能及源碼剖析；最后一部分將StreamingContext、DStream、Receiver結(jié)合起來分析其流程。

一、StreamingContext功能及源碼剖析：

成都創(chuàng)新互聯(lián)主營(yíng)泰順網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,手機(jī)APP定制開發(fā),泰順h5微信小程序開發(fā)搭建,泰順網(wǎng)站營(yíng)銷推廣歡迎泰順等地區(qū)企業(yè)咨詢

1、  通過Spark Streaming對(duì)象jssc，創(chuàng)建應(yīng)用程序主入口，并連上Driver，接收數(shù)據(jù)服務(wù)端口9999寫入源數(shù)據(jù)

2、  Spark Streaming的主要功能有：

• 主程序的入口；

• 提供了各種創(chuàng)建DStream的方法接收各種流入的數(shù)據(jù)源（例如：Kafka、Flume、Twitter、ZeroMQ和簡(jiǎn)單的TCP套接字等）；

• 通過構(gòu)造函數(shù)實(shí)例化Spark Streaming對(duì)象時(shí)，可以指定master URL、appName、或者傳入SparkConf配置對(duì)象、或者已經(jīng)創(chuàng)建的SparkContext對(duì)象；

• 將接收的數(shù)據(jù)流傳入DStreams對(duì)象中；

• 通過Spark Streaming對(duì)象實(shí)例的start方法來啟動(dòng)當(dāng)前應(yīng)用程序的流計(jì)算框架或通過stop方法結(jié)束當(dāng)前應(yīng)用程序的流計(jì)算框架；

  

二、DStream功能及源碼剖析：

1、  DStream是RDD的模板，DStream是抽象的，RDD也是抽象

2、  DStream的具體實(shí)現(xiàn)子類如下圖所示：

 

3、  以StreamingContext實(shí)例的socketTextSteam方法為例，其執(zhí)行完的結(jié)果返回DStream對(duì)象實(shí)例，其源碼調(diào)用過程如下圖：

socket.getInputStream獲取數(shù)據(jù)，while循環(huán)來存儲(chǔ)數(shù)據(jù)(內(nèi)存、磁盤)

三、Receiver功能及源碼剖析：

1、Receiver代表數(shù)據(jù)的輸入，接收外部輸入的數(shù)據(jù)，如從Kafka上抓取數(shù)據(jù)；

2、Receiver運(yùn)行在Worker節(jié)點(diǎn)上；

3、Receiver在Worker節(jié)點(diǎn)上抓取Kafka分布式消息框架上的數(shù)據(jù)時(shí)，具體實(shí)現(xiàn)類是KafkaReceiver；

4、Receiver是抽象類，其抓取數(shù)據(jù)的實(shí)現(xiàn)子類如下圖所示：

 

5、  如果上述實(shí)現(xiàn)類都滿足不了您的要求，您自己可以定義Receiver類，只需要繼承Receiver抽象類來實(shí)現(xiàn)自己子類的業(yè)務(wù)需求。

四、StreamingContext、DStream、Receiver結(jié)合流程分析：

 

（1）inputStream代表了數(shù)據(jù)輸入流(如：Socket、Kafka、Flume等)

（2）Transformation代表了對(duì)數(shù)據(jù)的一系列操作，如flatMap、map等

（3）outputStream代表了數(shù)據(jù)的輸出，例如wordCount中的println方法：

數(shù)據(jù)在流進(jìn)來之后，最終還是基于RDD進(jìn)行執(zhí)行，在處理流進(jìn)來的數(shù)據(jù)時(shí)是DStream進(jìn)行Transformation，StreamingContext會(huì)根據(jù)Transformation生成DStreamGraph，而DStreamGraph就是DAG的模板，這個(gè)模板是被框架托管的。當(dāng)我們指定時(shí)間間隔的時(shí)候，Spark Streaming框架會(huì)自動(dòng)觸發(fā)Job，所以在開發(fā)者編寫好的Spark代碼時(shí)（如：flatMap、collect、print），不會(huì)導(dǎo)致job的運(yùn)行，job運(yùn)行是
Spark Streaming框架自動(dòng)產(chǎn)生的。

總結(jié)：

使用Spark Streaming可以處理各種數(shù)據(jù)來源類型，如：數(shù)據(jù)庫(kù)、HDFS，服務(wù)器log日志、網(wǎng)絡(luò)流，其強(qiáng)大超越了你想象不到的場(chǎng)景，

只是很多時(shí)候大家不會(huì)用，其真正原因是對(duì)Spark、spark streaming本身不了解。

備注：

資料來源于：DT_大數(shù)據(jù)夢(mèng)工廠（IMF傳奇行動(dòng)絕密課程）

更多私密內(nèi)容，請(qǐng)關(guān)注微信公眾號(hào)：DT_Spark

如果您對(duì)大數(shù)據(jù)Spark感興趣，可以免費(fèi)聽由王家林老師每天晚上20：00開設(shè)的Spark永久免費(fèi)公開課，地址YY房間號(hào)：68917580

本文標(biāo)題：第84課：StreamingContext、DStream、Receiver深度剖析
瀏覽路徑：http://muchs.cn/article32/ppjipc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、服務(wù)器托管、網(wǎng)站建設(shè)、營(yíng)銷型網(wǎng)站建設(shè)、定制網(wǎng)站、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)