Flume的failover和loadbalance怎么使用

本篇內(nèi)容主要講解“Flume的failover和load balance怎么使用”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“Flume的failover和load balance怎么使用”吧!

我們提供的服務(wù)有：成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、昌圖ssl等。為超過千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的昌圖網(wǎng)站制作公司

一、Load Balancing Sink Processor

                                ===>        agent_2

source ==> agent_1  ===>        agent_3            ==>  Sink

                                ===>        agent_4

agent_2,agent_3,agent_4 分擔(dān)agent_1的數(shù)據(jù)壓力

[root@hftest0001 conf]# pwd
/opt/apache-flume-1.6.0-bin/conf

[root@hftest0001 conf]# vi s-exec_c-m_s-avro_sp-lb.conf

agent.sinkgrous.lb-1.sinks = 155-avroSink 154-avroSink
agent.sinkgrous.lb-1.processor.type = load_balance
#agent.sinkgrous.lb-1.processor.backoff = true
agent.sinkgrous.lb-1.processor.selector = round_robin
#agent.sinkgrous.lb-1.processor.selector.maxTimeOut = 3000


agent.sinks.155-avroSink.type = avro
agent.sinks.155-avroSink.hostname = ${ip-155}
agent.sinks.155-avroSink.port = 55555
agent.sinks.155-avroSink.channel = memoryChannel

agent.sinks.154-avroSink.type = avro
agent.sinks.154-avroSink.hostname = ${ip-154}
agent.sinks.154-avroSink.port = 55555
agent.sinks.154-avroSink.channel = memoryChannel

agent.channels.memoryChannel.type = memory
agent.channels.memoryChannel.capacity = 100

二、Failover Sink Processor

[root@hftest0001 conf]# vi s-exec_c-m_s-avro_sp-fo.conf 

agent.sinkgrous.lb-1.sinks = 155-avroSink 154-avroSink
agent.sinkgrous.lb-1.processor.type = failover
agent.sinkgrous.lb-1.processor.priority.155-avroSink = 5
agent.sinkgrous.lb-1.processor.priority.154-avroSink = 10        => 設(shè)置權(quán)重
agent.sinkgrous.lb-1.processor.maxpenalty = 10000


agent.sinks.155-avroSink.type = avro
agent.sinks.155-avroSink.hostname = ${ip-155}
agent.sinks.155-avroSink.port = 55555
agent.sinks.155-avroSink.channel = memoryChannel

agent.sinks.154-avroSink.type = avro
agent.sinks.154-avroSink.hostname = ${ip-154}
agent.sinks.154-avroSink.port = 55555
agent.sinks.154-avroSink.channel = memoryChannel

agent.channels.memoryChannel.type = memory
agent.channels.memoryChannel.capacity = 100

到此，相信大家對“Flume的failover和load balance怎么使用”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

文章名稱：Flume的failover和loadbalance怎么使用
文章源于：http://muchs.cn/article42/jcghec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、、企業(yè)建站、App開發(fā)、品牌網(wǎng)站建設(shè)、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)