Elasticsearch+Fluentd+Kafka怎么搭建分布式日志系統(tǒng)

這期內(nèi)容當中小編將會給大家?guī)碛嘘P(guān)Elasticsearch+Fluentd+Kafka怎么搭建分布式日志系統(tǒng)，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：域名注冊、網(wǎng)站空間、營銷軟件、網(wǎng)站建設(shè)、呼和浩特網(wǎng)站維護、網(wǎng)站推廣。

前言

由于logstash內(nèi)存占用較大,靈活性相對沒那么好,ELK正在被EFK逐步替代.其中本文所講的EFK是Elasticsearch+Fluentd+Kfka,實際上K應(yīng)該是Kibana用于日志的展示,這一塊不做演示,本文只講述數(shù)據(jù)的采集流程.

前提

1. docker

2. docker-compose

3. apache kafka服務(wù)

架構(gòu)

數(shù)據(jù)采集流程

數(shù)據(jù)的產(chǎn)生使用cadvisor采集容器的監(jiān)控數(shù)據(jù)并將數(shù)據(jù)傳輸?shù)終afka.

數(shù)據(jù)的傳輸鏈路是這樣: Cadvospr->Kafka->Fluentd->elasticsearch  

每一個服務(wù)都可以橫向擴展,添加服務(wù)到日志系統(tǒng)中.

配置文件

docker-compose.yml

version: "3.7"

services:  elasticsearch:   image: elasticsearch:7.5.1   environment:    - discovery.type=single-node  #使用單機模式啟動   ports:    - 9200:9200  cadvisor:    image: google/cadvisor    command: -storage_driver=kafka -storage_driver_kafka_broker_list=192.168.1.60:9092(kafka服務(wù)IP:PORT) -storage_driver_kafka_topic=kafeidou    depends_on:      - elasticsearch  fluentd:   image: lypgcs/fluentd-es-kafka:v1.3.2   volumes:    - ./:/etc/fluent    - /var/log/fluentd:/var/log/fluentd

其中:

1. cadvisor產(chǎn)生的數(shù)據(jù)會傳輸?shù)?92.168.1.60這臺機器的kafka服務(wù),topic為kafeidou

2. elasticsearch指定為單機模式啟動(discovery.type=single-node環(huán)境變量),單機模式啟動是為了方便實驗整體效果

fluent.conf

#<source>
#  type http
#  port 8888
#</source>

<source>
 @type kafka
 brokers 192.168.1.60:9092
 format json
 <topic>
   topic     kafeidou
 </topic>
</source>

<match **>
 @type copy

#  <store>
#   @type stdout
#  </store>

 <store>
 @type elasticsearch
 host 192.168.1.60
 port 9200
 logstash_format true
 #target_index_key machine_name
 logstash_prefix kafeidou
 logstash_dateformat %Y.%m.%d

 flush_interval 10s
 </store>
</match>

其中:

1. type為copy的插件是為了能夠?qū)luentd接收到的數(shù)據(jù)復(fù)制一份,是為了方便調(diào)試,將數(shù)據(jù)打印在控制臺或者存儲到文件中,這個配置文件默認關(guān)閉了,只提供必要的es輸出插件.
   需要時可以將@type stdout這一塊打開,調(diào)試是否接收到數(shù)據(jù).

2. 輸入源也配置了一個http的輸入配置,默認關(guān)閉,也是用于調(diào)試,往fluentd放入數(shù)據(jù).
   可以在linux上執(zhí)行下面這條命令:

   curl -i -X POST -d 'json={"action":"write","user":"kafeidou"}' http://localhost:8888/mytag
   

3. target_index_key參數(shù),這個參數(shù)是將數(shù)據(jù)中的某個字段對應(yīng)的值作為es的索引,例如這個配置文件用的是machine_name這個字段內(nèi)的值作為es的索引.

開始部署

在包含docker-compose.yml文件和fluent.conf文件的目錄下執(zhí)行:
docker-compose up -d

在查看所有容器都正常工作之后可以查看一下elasticsearch是否生成了預(yù)期中的數(shù)據(jù)作為驗證,這里使用查看es的索引是否有生成以及數(shù)據(jù)數(shù)量來驗證:

-bash: -: 未找到命令
[root@master kafka]# curl http://192.168.1.60:9200/_cat/indices?v
health status index                                uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   55a4a25feff6                         Fz_5v3suRSasX_Olsp-4tA   1   1       1            0      4kb            4kb

也可以直接在瀏覽器輸入http://192.168.1.60:9200/_cat/indices?v查看結(jié)果,會更方便.

可以看到我這里是用了machine_name這個字段作為索引值,查詢的結(jié)果是生成了一個叫55a4a25feff6的索引數(shù)據(jù),生成了1條數(shù)據(jù)(docs.count)

到目前為止kafka->fluentd->es這樣一個日志收集流程就搭建完成了.

當然了,架構(gòu)不是固定的.也可以使用fluentd->kafka->es這樣的方式進行收集數(shù)據(jù).這里不做演示了,無非是修改一下fluentd.conf配置文件,將es和kafka相關(guān)的配置做一下對應(yīng)的位置調(diào)換就可以了.

鼓勵多看官方文檔,在github或fluentd官網(wǎng)上都可以查找到fluentd-es插件和fluentd-kafka插件.

上述就是小編為大家分享的Elasticsearch+Fluentd+Kafka怎么搭建分布式日志系統(tǒng)了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

文章名稱：Elasticsearch+Fluentd+Kafka怎么搭建分布式日志系統(tǒng)
轉(zhuǎn)載源于：http://muchs.cn/article18/ihjidp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、外貿(mào)網(wǎng)站建設(shè)、服務(wù)器托管、域名注冊、營銷型網(wǎng)站建設(shè)、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)