如何在Kubernetes中搭建Elasticsearch集群-創(chuàng)新互聯(lián)

這篇文章給大家分享的是Kubernetes搭建Elasticsearch集群的教程。小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)。如下資料是關(guān)于搭建Elasticsearch的內(nèi)容。

創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站設(shè)計(jì)、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的克拉瑪依網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

Elasticsearch 是一個(gè)實(shí)時(shí)的、分布式的可擴(kuò)展的搜索引擎，允許進(jìn)行全文、結(jié)構(gòu)化搜索，它通常用于索引和搜索大量日志數(shù)據(jù)，也可用于搜索許多不同類型的文檔。

Elasticsearch 通常與 Kibana 一起部署，Kibana 是 Elasticsearch 的一個(gè)功能強(qiáng)大的數(shù)據(jù)可視化 Dashboard，Kibana 允許你通過 web 界面來瀏覽 Elasticsearch 日志數(shù)據(jù)。

Fluentd是一個(gè)流行的開源數(shù)據(jù)收集器，我們將在 Kubernetes 集群節(jié)點(diǎn)上安裝 Fluentd，通過獲取容器日志文件、過濾和轉(zhuǎn)換日志數(shù)據(jù)，然后將數(shù)據(jù)傳遞到 Elasticsearch 集群，在該集群中對(duì)其進(jìn)行索引和存儲(chǔ)。

我們先來配置啟動(dòng)一個(gè)可擴(kuò)展的 Elasticsearch 集群，然后在 Kubernetes 集群中創(chuàng)建一個(gè) Kibana 應(yīng)用，最后通過 DaemonSet 來運(yùn)行 Fluentd，以便它在每個(gè) Kubernetes 工作節(jié)點(diǎn)上都可以運(yùn)行一個(gè) Pod。

1.創(chuàng)建 Elasticsearch 集群

在創(chuàng)建 Elasticsearch 集群之前，我們先創(chuàng)建一個(gè)命名空間。

新建一個(gè)kube-efk.yaml

kubectl  apply  -f  kube-efk.yaml

kubectl  get  ns  查看有沒有這個(gè)efk的命名空間

這里我們使用3個(gè) Elasticsearch Pod 來避免高可用下多節(jié)點(diǎn)集群中出現(xiàn)的“腦裂”問題，當(dāng)一個(gè)或多個(gè)節(jié)點(diǎn)無法與其他節(jié)點(diǎn)通信時(shí)會(huì)產(chǎn)生“腦裂”，可能會(huì)出現(xiàn)幾個(gè)主節(jié)點(diǎn)。

一個(gè)關(guān)鍵點(diǎn)是您應(yīng)該設(shè)置參數(shù)discover.zen.minimum_master_nodes=N/2+1，其中N是 Elasticsearch 集群中符合主節(jié)點(diǎn)的節(jié)點(diǎn)數(shù)，比如我們這里3個(gè)節(jié)點(diǎn)，意味著N應(yīng)該設(shè)置為2。這樣，如果一個(gè)節(jié)點(diǎn)暫時(shí)與集群斷開連接，則另外兩個(gè)節(jié)點(diǎn)可以選擇一個(gè)新的主節(jié)點(diǎn)，并且集群可以在最后一個(gè)節(jié)點(diǎn)嘗試重新加入時(shí)繼續(xù)運(yùn)行，在擴(kuò)展 Elasticsearch 集群時(shí)，一定要記住這個(gè)參數(shù)。

首先創(chuàng)建一個(gè)名為 elasticsearch 的無頭服務(wù)，新建文件 elasticsearch-svc.yaml，文件內(nèi)容如下：

定義了一個(gè)名為 elasticsearch 的 Service，指定標(biāo)簽app=elasticsearch，當(dāng)我們將 Elasticsearch StatefulSet 與此服務(wù)關(guān)聯(lián)時(shí)，服務(wù)將返回帶有標(biāo)簽app=elasticsearch的 Elasticsearch Pods 的 DNS A 記錄，然后設(shè)置clusterIP=None，將該服務(wù)設(shè)置成無頭服務(wù)。最后，我們分別定義端口9200、9300，分別用于與 REST API 交互，以及用于節(jié)點(diǎn)間通信。

然后我們創(chuàng)建這個(gè)無頭服務(wù)

kubectl  apply  -f  elasticsearch-svc.yaml

現(xiàn)在我們已經(jīng)為 Pod 設(shè)置了無頭服務(wù)和一個(gè)穩(wěn)定的域名.elasticsearch.logging.svc.cluster.local，接下來我們通過 StatefulSet 來創(chuàng)建具體的 Elasticsearch 的 Pod 應(yīng)用。

Kubernetes StatefulSet 允許我們?yōu)?Pod 分配一個(gè)穩(wěn)定的標(biāo)識(shí)和持久化存儲(chǔ)，Elasticsearch 需要穩(wěn)定的存儲(chǔ)來保證 Pod 在重新調(diào)度或者重啟后的數(shù)據(jù)依然不變，所以需要使用 StatefulSet 來管理 Pod。

我們使用了一個(gè)名為 es-data-db 的 StorageClass 對(duì)象，所以我們需要提前創(chuàng)建該對(duì)象，我們這里使用的 NFS 作為存儲(chǔ)后端，所以需要安裝一個(gè)對(duì)應(yīng)的 provisioner 驅(qū)動(dòng)，
我們先創(chuàng)建elasticsearch-storageclass.yaml

然后我們創(chuàng)建pvc來對(duì)應(yīng)這個(gè)storageclass

elasticsearch-pvc.yaml

最后我們創(chuàng)建這個(gè)statefulset

elasticsearch-statefulset.yaml

然后我們使用kubectl創(chuàng)建

kubectl apply -f elasticsearch-storageclass.yaml

kubectl apply -f elasticsearch-pvc.yaml

kubectl apply -f elasticsearch-statefulset.yaml

然后我們查看pod的運(yùn)行情況

Pods 部署完成后，我們可以通過請(qǐng)求一個(gè) REST API 來檢查 Elasticsearch 集群是否正常運(yùn)行。使用下面的命令將本地端口9200轉(zhuǎn)發(fā)到 Elasticsearch 節(jié)點(diǎn)（如es-cluster-0）對(duì)應(yīng)的端口：

然后我們開另一個(gè)窗口

正常來說，應(yīng)該會(huì)有這樣的信息。

看到上面的信息就表明我們名為 k8s-logs 的 Elasticsearch 集群成功創(chuàng)建了3個(gè)節(jié)點(diǎn)：es-cluster-0，es-cluster-1，和es-cluster-2，當(dāng)前主節(jié)點(diǎn)是 es-cluster-0。

2.創(chuàng)建 Kibana 服務(wù)

Elasticsearch 集群?jiǎn)?dòng)成功了，接下來我們可以來部署 Kibana 服務(wù)，新建一個(gè)名為 kibana.yaml 的文件，對(duì)應(yīng)的文件內(nèi)容如下：

上面我們定義了兩個(gè)資源對(duì)象，一個(gè) Service 和 Deployment，為了測(cè)試方便，我們將 Service 設(shè)置為了 NodePort 類型，Kibana Pod 中配置都比較簡(jiǎn)單，唯一需要注意的是我們使用 ELASTICSEARCH_URL 這個(gè)環(huán)境變量來設(shè)置Elasticsearch 集群的端點(diǎn)和端口，直接使用 Kubernetes DNS 即可，此端點(diǎn)對(duì)應(yīng)服務(wù)名稱為 elasticsearch，由于是一個(gè) headless service，所以該域?qū)⒔馕鰹?個(gè) Elasticsearch Pod 的 IP 地址列表。

然后我們創(chuàng)建這個(gè)服務(wù)

kubectl  apply  -f  kibana.yaml

過了一會(huì)，我們的kibana的服務(wù)就起來了。

如果 Pod 已經(jīng)是 Running 狀態(tài)了，證明應(yīng)用已經(jīng)部署成功了，然后可以通過 NodePort 來訪問 Kibana 這個(gè)服務(wù)，在瀏覽器中打開http://<任意節(jié)點(diǎn)IP>:30245即可，如果看到如下歡迎界面證明 Kibana 已經(jīng)成功部署到了 Kubernetes集群之中。

3.部署 Fluentd

Fluentd 是一個(gè)高效的日志聚合器，是用 Ruby 編寫的，并且可以很好地?cái)U(kuò)展。對(duì)于大部分企業(yè)來說，F(xiàn)luentd 足夠高效并且消耗的資源相對(duì)較少，另外一個(gè)工具Fluent-bit更輕量級(jí)，占用資源更少，但是插件相對(duì) Fluentd 來說不夠豐富，所以整體來說，F(xiàn)luentd 更加成熟，使用更加廣泛，所以我們這里也同樣使用 Fluentd 來作為日志收集工具。

工作原理
Fluentd 通過一組給定的數(shù)據(jù)源抓取日志數(shù)據(jù)，處理后（轉(zhuǎn)換成結(jié)構(gòu)化的數(shù)據(jù)格式）將它們轉(zhuǎn)發(fā)給其他服務(wù)，比如 Elasticsearch、對(duì)象存儲(chǔ)等等。Fluentd 支持超過300個(gè)日志存儲(chǔ)和分析服務(wù)，所以在這方面是非常靈活的。主要運(yùn)行步驟如下：

首先 Fluentd 從多個(gè)日志源獲取數(shù)據(jù)
結(jié)構(gòu)化并且標(biāo)記這些數(shù)據(jù)
然后根據(jù)匹配的標(biāo)簽將數(shù)據(jù)發(fā)送到多個(gè)目標(biāo)服務(wù)去

日志源配置
比如我們這里為了收集 Kubernetes 節(jié)點(diǎn)上的所有容器日志，就需要做如下的日志源配置：

路由配置
上面是日志源的配置，接下來看看如何將日志數(shù)據(jù)發(fā)送到 Elasticsearch：

match：標(biāo)識(shí)一個(gè)目標(biāo)標(biāo)簽，后面是一個(gè)匹配日志源的正則表達(dá)式，我們這里想要捕獲所有的日志并將它們發(fā)送給 Elasticsearch，所以需要配置成**。
id：目標(biāo)的一個(gè)唯一標(biāo)識(shí)符。
type：支持的輸出插件標(biāo)識(shí)符，我們這里要輸出到 Elasticsearch，所以配置成 elasticsearch，這是 Fluentd 的一個(gè)內(nèi)置插件。
log_level：指定要捕獲的日志級(jí)別，我們這里配置成info，表示任何該級(jí)別或者該級(jí)別以上（INFO、WARNING、ERROR）的日志都將被路由到 Elsasticsearch。
host/port：定義 Elasticsearch 的地址，也可以配置認(rèn)證信息，我們的 Elasticsearch 不需要認(rèn)證，所以這里直接指定 host 和 port 即可。
logstash_format：Elasticsearch 服務(wù)對(duì)日志數(shù)據(jù)構(gòu)建反向索引進(jìn)行搜索，將 logstash_format 設(shè)置為true，F(xiàn)luentd 將會(huì)以 logstash 格式來轉(zhuǎn)發(fā)結(jié)構(gòu)化的日志數(shù)據(jù)。
Buffer： Fluentd 允許在目標(biāo)不可用時(shí)進(jìn)行緩存，比如，如果網(wǎng)絡(luò)出現(xiàn)故障或者 Elasticsearch 不可用的時(shí)候。緩沖區(qū)配置也有助于降低磁盤的 IO。
4.安裝
要收集 Kubernetes 集群的日志，直接用 DasemonSet 控制器來部署 Fluentd 應(yīng)用，這樣，它就可以從 Kubernetes 節(jié)點(diǎn)上采集日志，確保在集群中的每個(gè)節(jié)點(diǎn)上始終運(yùn)行一個(gè) Fluentd 容器。當(dāng)然可以直接使用 Helm 來進(jìn)行一鍵安裝，為了能夠了解更多實(shí)現(xiàn)細(xì)節(jié)，我們這里還是采用手動(dòng)方法來進(jìn)行安裝。

首先，我們通過 ConfigMap 對(duì)象來指定 Fluentd 配置文件，新建 fluentd-configmap.yaml 文件，文件內(nèi)容如下：

上面配置文件中我們配置了 docker 容器日志目錄以及 docker、kubelet 應(yīng)用的日志的收集，收集到數(shù)據(jù)經(jīng)過處理后發(fā)送到 elasticsearch:9200 服務(wù)。

然后新建一個(gè) fluentd-daemonset.yaml 的文件，文件內(nèi)容如下：

我們將上面創(chuàng)建的 fluentd-config 這個(gè) ConfigMap 對(duì)象通過 volumes 掛載到了 Fluentd 容器中，另外為了能夠靈活控制哪些節(jié)點(diǎn)的日志可以被收集，所以我們這里還添加了一個(gè) nodSelector 屬性：

另外由于我們的集群使用的是 kubeadm 搭建的，默認(rèn)情況下 master 節(jié)點(diǎn)有污點(diǎn)，所以要想也收集 master 節(jié)點(diǎn)的日志，則需要添加上容忍：

然后我們創(chuàng)建上面的configmap對(duì)象和daemonset服務(wù)

我們查看可以看到pod已經(jīng)正常運(yùn)行了。

然后我們進(jìn)入kibana的頁面，點(diǎn)擊discover

在這里可以配置我們需要的 Elasticsearch 索引，前面 Fluentd 配置文件中我們采集的日志使用的是 logstash 格式，這里只需要在文本框中輸入logstash-*即可匹配到 Elasticsearch 集群中的所有日志數(shù)據(jù)，然后點(diǎn)擊下一步，進(jìn)入以下頁面：

在該頁面中配置使用哪個(gè)字段按時(shí)間過濾日志數(shù)據(jù)，在下拉列表中，選擇@timestamp字段，然后點(diǎn)擊Create index pattern，創(chuàng)建完成后，點(diǎn)擊左側(cè)導(dǎo)航菜單中的Discover，然后就可以看到一些直方圖和最近采集到的日志數(shù)據(jù)了：

更多相關(guān)知識(shí)文章：

ElasticSearch集群如何安裝和配置

k8s如何部署elasticsearch集群

關(guān)于在Kubernetes中搭建Elasticsearch集群的教程就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

分享標(biāo)題：如何在Kubernetes中搭建Elasticsearch集群-創(chuàng)新互聯(lián)
文章轉(zhuǎn)載：http://muchs.cn/article46/csheeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、品牌網(wǎng)站制作、動(dòng)態(tài)網(wǎng)站、定制開發(fā)、手機(jī)網(wǎng)站建設(shè)、全網(wǎng)營銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)