Flume結(jié)合Spark測試-創(chuàng)新互聯(lián)

近日，在測試Flume結(jié)合Kafka結(jié)合Spark Streaming的實驗。今天把Flume與Spark的簡單結(jié)合做出來了，這里記錄一下，避免網(wǎng)友走彎路。有不周到的地方還希望路過的大神多多指教。

創(chuàng)新互聯(lián)長期為上1000家客戶提供的網(wǎng)站建設服務，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為云城企業(yè)提供專業(yè)的成都網(wǎng)站建設、網(wǎng)站制作，云城網(wǎng)站改版等技術(shù)服務。擁有十余年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

實驗比較簡單，分為兩部分：一、使用avro-client發(fā)送數(shù)據(jù) 二、使用netcat發(fā)送數(shù)據(jù)

首先Spark程序需要Flume的兩個jar包：

flume-ng-sdk-1.4.0、spark-streaming-flume_2.11-1.2.0

一、使用avro-client發(fā)送數(shù)據(jù)

1、 編寫Spark程序，該程序的功能是接收Flume事件

import org.apache.log4j.{Level, Logger}

import org.apache.spark.SparkConf

importorg.apache.spark.storage.StorageLevel

import org.apache.spark.streaming._

import org.apache.spark.streaming.flume._

object FlumeEventTest{

 defmain(args:Array[String]) {

   Logger.getLogger("org.apache.spark").setLevel(Level.WARN)

   Logger.getLogger("org.apache.eclipse.jetty.server").setLevel(Level.OFF)

   val hostname = args(0)

   val port = args(1).toInt

   val batchInterval = args(2)

   val sparkConf = newSparkConf().setAppName("FlumeEventCount").setMaster("local[2]")

   val ssc = new StreamingContext(sparkConf,batchInterval)

   valstream = FlumeUtils.createStream(ssc,hostname,port,StorageLevel.MEMORY_ONLY)

   stream.count().map(cnt => "Received " + cnt + " flumeevents." ).print()

   ssc.start()

   ssc.awaitTermination()

 }

}

2、 Flume配置文件參數(shù)

a1.channels = c1

a1.sinks = k1

a1.sources = r1

a1.sinks.k1.type = avro

a1.sinks.k1.channel = c1

a1.sinks.k1.hostname = localhost

a1.sinks.k1.port = 9999

a1.sources.r1.type = avro

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

a1.sources.r1.channels = c1

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

這里，使用avro向flume的44444端口發(fā)送數(shù)據(jù)；然后flume通過9999向Spark發(fā)送數(shù)據(jù)。

3、 運行Spark程序：

4、 通過Flume配置文件啟動Flumeagent

../bin/flume-ng agent --conf conf--conf-file ./flume-conf.conf --name a1

-Dflume.root.logger=INFO,console

Spark運行效果：

5、 使用avro來發(fā)送文件：

./flume-ng avro-client --conf conf -Hlocalhost -p 44444 -F/opt/servicesClient/Spark/spark/conf/spark-env.sh.template-Dflume.root.logger=DEBUG,console

Flume agent效果：

Spark效果：

二、使用netcat發(fā)送數(shù)據(jù)

1、 Spark程序同上

2、 配置Flume參數(shù)

a1.channels = c1

a1.sinks = k1

a1.sources = r1

a1.sinks.k1.type = avro

a1.sinks.k1.channel = c1

a1.sinks.k1.hostname = localhost

a1.sinks.k1.port = 9999

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

a1.sources.r1.channels = c1

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

這里，使用telnet作為Flume的數(shù)據(jù)源

3、 運行Spark程序同上

4、 通過Flume配置文件啟動Flumeagent

../bin/flume-ng agent --conf conf--conf-file ./flume-conf.conf --name a1

-Dflume.root.logger=INFO,console

注意：這里使用netcat作為Flume的數(shù)據(jù)源，注意與avro作為源的效果區(qū)別

5、 使用telnet發(fā)送數(shù)據(jù)

Spark效果：

這是兩個比較簡單的demo，如果真正在項目中使用Flume來收集數(shù)據(jù)，使用Kafka作為分布式消息隊列，使用Spark Streaming實時計算，還需要詳細研究Flume和Spark流計算。

前段時間給部門做培訓，演示了Spark Streaming的幾個例子：文本處理、網(wǎng)絡數(shù)據(jù)處理、stateful操作和window操作，這幾天有時間整理整理，分享給大家。包括Spark MLlib的兩個簡單demo：基于K-Means的用戶分類和基于協(xié)同過濾的電影推薦系統(tǒng)。

今天看了斯坦福Andrew Ng教授的ML課程，講的很棒，這里把鏈接分享給大家：

http://open.163.com/special/opencourse/machinelearning.html

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享題目：Flume結(jié)合Spark測試-創(chuàng)新互聯(lián)
瀏覽路徑：http://muchs.cn/article0/dcopoo.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、云服務器、靜態(tài)網(wǎng)站、響應式網(wǎng)站、網(wǎng)站設計公司、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)