Fluentd中如何配置高可用

這篇文章將為大家詳細(xì)講解有關(guān)Fluentd中如何配置高可用，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

創(chuàng)新互聯(lián)公司專注于驛城網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供驛城營銷型網(wǎng)站建設(shè)，驛城網(wǎng)站制作、驛城網(wǎng)頁設(shè)計(jì)、驛城網(wǎng)站官網(wǎng)定制、成都小程序開發(fā)服務(wù)，打造驛城網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供驛城網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

對(duì)于高訪問量的web站點(diǎn)或者服務(wù)，我們可以采用Fluentd的高可用配置模式。

1. 消息分發(fā)語義

   Fluentd設(shè)計(jì)初衷主要是用作事件日志分發(fā)系統(tǒng)的。這類系統(tǒng)支持幾種不同的分發(fā)模式：

1. 至多一次。消息被立即發(fā)送，若傳輸成功，該消息不會(huì)再被發(fā)送。發(fā)送失敗，則會(huì)導(dǎo)致消息丟失。現(xiàn)實(shí)環(huán)境下會(huì)有很多情況導(dǎo)致發(fā)送失敗，比如網(wǎng)絡(luò)暫時(shí)不可用。

2. 至少一次。消息至少會(huì)被發(fā)送一次，若發(fā)送失敗，消息會(huì)被重發(fā)。這保證了消息不會(huì)被丟失，但可能導(dǎo)致接收端收到重復(fù)的消息。

3. 精確只發(fā)一次。消息剛好發(fā)送一次，能確保送達(dá)且不會(huì)重復(fù)。這是大家所期望的分發(fā)模式。實(shí)現(xiàn)此模式可能需要采用同步化的日志處理方式，當(dāng)達(dá)到發(fā)送瓶頸時(shí)，告知業(yè)務(wù)層已無法接收更多的日志。

為了在不影響業(yè)務(wù)性能的情況下收集大量的日志，日志層必須以異步的方式運(yùn)行。因此，F(xiàn)luentd只提供了前兩種傳輸模式。

2. 網(wǎng)絡(luò)拓?fù)?/p>

   為使得Fluentd具備高可用性，典型的部署架構(gòu)需要包含兩種不同角色的Fluentd模塊：轉(zhuǎn)發(fā)器（forwarder）和聚合器（aggregator）。其拓?fù)浣Y(jié)構(gòu)如下圖所示

   

   轉(zhuǎn)發(fā)器部署在業(yè)務(wù)節(jié)點(diǎn)，用于收集業(yè)務(wù)方產(chǎn)生的本地日志事件，并將事件發(fā)送至聚合器。

   聚合器持續(xù)地從轉(zhuǎn)發(fā)器接收日志，對(duì)日志進(jìn)行緩存，并定期上傳日志到下一個(gè)處理方（典型的就是存儲(chǔ)）。

   聚合器采用主備模式。如上圖，192.168.0.1為主，192.168.0.2為備。

3. 轉(zhuǎn)發(fā)器配置

   轉(zhuǎn)發(fā)器的典型配置如下所示：

   # TCP input<source>  @type forward  port 24224</source>
   # HTTP input<source>  @type http  port 8888</source>
   # Log Forwarding<match mytag.**>  @type forward
     # primary host  <server>    host 192.168.0.1    port 24224  </server>  # use secondary host  <server>    host 192.168.0.2    port 24224    standby  </server>
     # use longer flush_interval to reduce CPU usage.  # note that this is a trade-off against latency.  <buffer>    flush_interval 60s  </buffer></match>

    

   這里有兩個(gè)輸入源，使用forward插件將日志事件發(fā)送到兩個(gè)聚合器server中，其中通過standby指定192.168.0.2為備用聚合器。若兩個(gè)聚合器節(jié)點(diǎn)都不可用，日志將會(huì)緩存在轉(zhuǎn)發(fā)器節(jié)點(diǎn)。

4. 聚合器配置

   聚合器的典型配置如下所示：

   # Input<source>  @type forward  port 24224</source>
   # Output<match mytag.**>  ...</match>

    

   這個(gè)比較簡單，使用forward插件作為輸入源。日志會(huì)在本地緩存，并通過重傳機(jī)制確保能送達(dá)目的地。

5. 失敗場景提示

1. 轉(zhuǎn)發(fā)失敗

   轉(zhuǎn)發(fā)器收到應(yīng)用層的日志事件后，先將事件寫入本地磁盤緩存（由buffer_path指定）。每個(gè)flush_interval到來時(shí)，緩存事件被轉(zhuǎn)發(fā)至聚合器。

   轉(zhuǎn)發(fā)器進(jìn)程若發(fā)生崩潰，進(jìn)程重啟后會(huì)自動(dòng)重發(fā)已緩存的日志；轉(zhuǎn)發(fā)器和聚合器網(wǎng)絡(luò)若發(fā)生故障，轉(zhuǎn)發(fā)器也會(huì)對(duì)日志進(jìn)行重傳。這在一定程度上保證了轉(zhuǎn)發(fā)器的健壯性。

   但仍有一些情況可導(dǎo)致數(shù)據(jù)丟失：

1. 轉(zhuǎn)發(fā)器收到業(yè)務(wù)層日志，在將日志寫入緩存之前發(fā)生崩潰

2. 磁盤損壞

2. 聚合失敗

   聚合器采用和轉(zhuǎn)發(fā)器相同的失敗處理機(jī)制，失敗場景類似。

6. 錯(cuò)誤排查

   采用此架構(gòu)進(jìn)行部署時(shí)，有時(shí)候會(huì)遇到“no nodes are available”的錯(cuò)誤提示。這可能是節(jié)點(diǎn)間網(wǎng)絡(luò)不通導(dǎo)致的。需要注意的是，節(jié)點(diǎn)之間通過24224端口傳輸數(shù)據(jù)，既使用TCP，也會(huì)使用UDP。

   可通過以下命令進(jìn)行檢查：

   $ telnet host 24224$ nmap -p 24224 -sU host

   
   

關(guān)于Fluentd中如何配置高可用就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

網(wǎng)站名稱：Fluentd中如何配置高可用
轉(zhuǎn)載來于：http://www.muchs.cn/article20/jpjgco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)、企業(yè)網(wǎng)站制作、手機(jī)網(wǎng)站建設(shè)、面包屑導(dǎo)航、微信小程序、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)