消息隊列之kafka(整合flume)

補充：在flume的的lib中已經(jīng)有了kafka的依賴包，所以直接使用flume的配置文件即可。
這里舉出kafka+flume的典型場景：（Kafka-----sink）

創(chuàng)新互聯(lián)主要從事成都做網(wǎng)站、成都網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)金沙,十年網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):13518219792

source ：netcat
channel：memory
sink：kafka sink

netcat-kafka.conf

#別名
a1.sources=s1
a1.channels=c1
a1.sinks=k1

#source
a1.sources.s1.type=netcat
a1.sources.s1.bind=192.168.5.0
a1.sources.s1.port=6666

#channel
a1.channels.c1.type=memory

#sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = kafka_test  #傳入的的主題
a1.sinks.k1.kafka.bootstrap.servers = hadoop02:9092  #kafka集群入口
a1.sinks.k1.kafka.producer.acks = 1   #消息確認級別
#指定壓縮的類型
a1.sinks.k1.kafka.producer.compression.type = snappy

a1.sources.s1.channels=c1
a1.sinks.k1.channel=c1

最后啟動flume的配置文件即可：
bin/flume-ng agent -n a1 -c conf -f conf/myconf/netcat-kafka.conf -Dflume.root.logger=INFO,console

官網(wǎng)地址：http://flume.apache.org/FlumeUserGuide.html#kafka-sink

本文名稱：消息隊列之kafka(整合flume)
標題鏈接：http://muchs.cn/article20/gddejo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊、App開發(fā)、云服務(wù)器、網(wǎng)站營銷、網(wǎng)站策劃、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)