互聯(lián)網(wǎng)中監(jiān)控的示例分析

這篇文章主要為大家展示了“互聯(lián)網(wǎng)中監(jiān)控的示例分析”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“互聯(lián)網(wǎng)中監(jiān)控的示例分析”這篇文章吧。

成都創(chuàng)新互聯(lián)是一家網(wǎng)站設(shè)計(jì)公司，集創(chuàng)意、互聯(lián)網(wǎng)應(yīng)用、軟件技術(shù)為一體的創(chuàng)意網(wǎng)站建設(shè)服務(wù)商，主營產(chǎn)品：自適應(yīng)網(wǎng)站建設(shè)、高端網(wǎng)站設(shè)計(jì)、營銷型網(wǎng)站。我們專注企業(yè)品牌在網(wǎng)站中的整體樹立，網(wǎng)絡(luò)互動(dòng)的體驗(yàn)，以及在手機(jī)等移動(dòng)端的優(yōu)質(zhì)呈現(xiàn)。做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、移動(dòng)互聯(lián)產(chǎn)品、網(wǎng)絡(luò)運(yùn)營、VI設(shè)計(jì)、云產(chǎn)品.運(yùn)維為核心業(yè)務(wù)。為用戶提供一站式解決方案，我們深知市場的競爭激烈，認(rèn)真對(duì)待每位客戶，為客戶提供賞析悅目的作品，網(wǎng)站的價(jià)值服務(wù)。

一、監(jiān)控需求的產(chǎn)生

當(dāng)程序被交付，部署到生產(chǎn)環(huán)境，才是其生命周期中最長的部分的開始。人們需要了解生產(chǎn)環(huán)境是否一切正常，監(jiān)控需求自然而然產(chǎn)生。

互聯(lián)網(wǎng)發(fā)展過程中涌現(xiàn)大量監(jiān)控相關(guān)的工具/系統(tǒng)，Ganlia, Zabbix, RRDTools, Graphite，各自在不同的層面為“是否正常”提供答案。

監(jiān)控本身，無論是業(yè)界對(duì)監(jiān)控的認(rèn)知，監(jiān)控工具/系統(tǒng)自身的能力，也在以下兩個(gè)方向演進(jìn)著：

1. 黑盒到白盒

2. 資源到業(yè)務(wù)

這個(gè)階段監(jiān)控的愿景是很明確的，如何落地則各顯神通。

直到 Etsy 于 2011 年通過博客公開了他們的 監(jiān)控實(shí)踐，利用 StatsD（已開源），以非常簡單統(tǒng)一的方式，實(shí)現(xiàn)資源/業(yè)務(wù)層面的數(shù)據(jù)采集/存儲(chǔ)/分析。后來的監(jiān)控系統(tǒng)，尤其是基于 metrics 的監(jiān)控系統(tǒng)，大多受過 StatsD 的啟發(fā)和影響。

二、可觀測性的提出

互聯(lián)網(wǎng)工程界，Twitter 應(yīng)該是最早提出可觀測性 的組織。在這系列文章中，Twitter 集中闡述了他們的可觀測性技術(shù)棧，其中包括了 Zipkin，Google Dapper 的開源實(shí)現(xiàn)。

如前言所說，本文不糾結(jié)于幾個(gè)名詞之間的包含關(guān)系。

拋開這些名詞的辯論，可觀測性相對(duì)于過去監(jiān)控，最大的變化就是系統(tǒng)需要處理的數(shù)據(jù)，從 metrics 為主，擴(kuò)展到了更廣的領(lǐng)域。綜合起來，大約有幾類數(shù)據(jù)被看作是可觀測性的支柱(pillar)

• metrics

• logging

• tracing

• events

因此，一個(gè)現(xiàn)代化的監(jiān)控系統(tǒng)/可觀測性工程系統(tǒng)，也就必須具備妥善存儲(chǔ)以上幾種數(shù)據(jù)的能力。

三、存儲(chǔ)

Metrics

Metrics，通常是數(shù)值類型的時(shí)間序列數(shù)據(jù)。這類需求的存在如此廣泛，以至于衍生了專門服務(wù)于這個(gè)目標(biāo)的數(shù)據(jù)庫子類，時(shí)間序列數(shù)據(jù)庫，TSDB。

TSDB 經(jīng)歷了大約如下幾個(gè)方面的重要演進(jìn)

• 數(shù)據(jù)模型。描述信息從 metric naming 中剝離出來，形成 tag?，F(xiàn)代的 tsdb 通常都已采用 tag 化的數(shù)據(jù)模型。

• 數(shù)據(jù)類型。從簡單的數(shù)值記錄，到為不同場景衍生出 gauge, counter, timer 等等更多的數(shù)據(jù)類型

• 索引結(jié)構(gòu)。索引結(jié)構(gòu)跟數(shù)據(jù)模型密切相關(guān)，在 tag 為主的現(xiàn)代 tsdb, 倒排索引已經(jīng)是主流索引結(jié)構(gòu)。

• 數(shù)據(jù)存儲(chǔ)。從 rrdtool 寫環(huán)形隊(duì)列到文件的時(shí)代，到 OpenTSDB 這樣自行編解碼寫入底層數(shù)據(jù)庫，再到 Facebook 提出的時(shí)序數(shù)據(jù)壓縮算法，通常會(huì)是若干種技術(shù)的綜合使用，并且針對(duì)不同的數(shù)據(jù)類型采用不同方案

Metrics 存儲(chǔ)，或者是 TSDB 的研究和演進(jìn)，我們會(huì)有另外的文章專門介紹。

logging

logging 通常會(huì)是工程師定位生產(chǎn)環(huán)境問題最直接的手段。日志的處理大約在如下幾個(gè)方面進(jìn)行演進(jìn)

• 集中存儲(chǔ)/檢索。使得工程師免于分別登陸機(jī)器查看日志之苦，日志被統(tǒng)一采集，集中存儲(chǔ)于日志服務(wù)，并提供統(tǒng)一的檢索服務(wù)。這個(gè)過程牽扯到例如日志格式統(tǒng)一，解析，結(jié)構(gòu)化等等問題。

• 日志的監(jiān)控。

• 原文中的關(guān)鍵字，例如 error, fatal 大概率意味著值得關(guān)注的錯(cuò)誤產(chǎn)生

• 從日志中提取的 metrics，例如 access log 中攜帶的大量數(shù)據(jù)，都可以被提取成有用的信息。至于提取的手段，有的通過客戶端在日志本地進(jìn)行解析，有的在集中存儲(chǔ)過程中進(jìn)行解析。

tracing

隨著互聯(lián)網(wǎng)工程日漸復(fù)雜，尤其是微服務(wù)的風(fēng)潮下，分布式 tracing 通常是理解系統(tǒng)，定位系統(tǒng)故障的最重要手段。

在存儲(chǔ)層面，tracing 已經(jīng)有相對(duì)明確的方案，無論是 OpenZipkin，還是 CNCF 的 Jaeger ，都提供幾乎開箱即用的后端軟件，其中當(dāng)然包括存儲(chǔ)。

Tracing 的存儲(chǔ)設(shè)計(jì)主要考慮

1. 稀疏數(shù)據(jù)：tracing 數(shù)據(jù)通常是稀疏的，這通常有幾個(gè)原因

• 不同業(yè)務(wù)的 trace 路徑通常不同，也就是 span 不同，因而稀疏

• 同種業(yè)務(wù)的 trace ，在不同內(nèi)外部條件下，路徑也不同。例如訪問數(shù)據(jù)庫，是否命中緩存，都會(huì)產(chǎn)生不同的 span 鏈

• 訪問正常/異常的 trace ，產(chǎn)生不同 span

2. 多維度查詢：通常的解決思路

• 二級(jí)索引：在以 HBase, Cassandra 為基礎(chǔ)的方案中比較常見

• 引入倒排索引，在二級(jí)索引方案無法滿足全部查詢請(qǐng)求時(shí)，可能會(huì)引入 Elasticsearch 輔助索引，提升查詢靈活性

Events

同樣是一個(gè)難以定義，但是很容易描述的術(shù)語。我們把，一次部署，一次配置變更，一次DNS 切換，諸如此類的變更，稱為事件。

它們通常意味著生產(chǎn)環(huán)境的變更。而故障，通常因?yàn)椴磺‘?dāng)?shù)淖兏稹?/p>

對(duì) events 的處理主要包括

• 集中存儲(chǔ)：事件種類很多，較難歸納共同的查詢緯度，所以倒排索引在這種無法事先確定查詢緯度的場景下，是非常合適的存儲(chǔ)結(jié)構(gòu)

• Dashboard：以恰當(dāng)?shù)姆绞?，把事件查?/展示出來。上文提到 Etsy 的博客中，展示了很好的實(shí)踐方法，使得工程師能夠通過 dashboard ，非常輕松確認(rèn)網(wǎng)站登陸失敗，與登錄模塊部署事件之間的關(guān)系。

以上是“互聯(lián)網(wǎng)中監(jiān)控的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

分享題目：互聯(lián)網(wǎng)中監(jiān)控的示例分析
新聞來源：http://muchs.cn/article42/pihgec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、網(wǎng)站設(shè)計(jì)公司、小程序開發(fā)、品牌網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)