一個優(yōu)雅的報警處理系統(tǒng)范例

做運維的同學(xué)都知道，運維一定離不開Zabbix、Nagios之類的監(jiān)控軟件。目前，類似的軟件在監(jiān)控和數(shù)據(jù)采集方面已經(jīng)做到了極致，但是在報警處理上并沒有很完美的解決方案，比如，經(jīng)常出現(xiàn)高質(zhì)量報警湮沒在海量報警之中等情況。

鎮(zhèn)江ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

本文不探討監(jiān)控系統(tǒng)的配置優(yōu)化，只探討監(jiān)控系統(tǒng)按照它的邏輯發(fā)出報警之后我們該做點什么。

報警遇到的痛點

報警風(fēng)暴，高質(zhì)量報警湮沒在海量報警之中；
出現(xiàn)報警后沒人認領(lǐng)，需要在在工作的IM群中溝通；
運維人員進行運維操作必定會引起某些報警，會給不知道真相的同學(xué)帶來困惑；
海量報警恢復(fù)之后，運維人員很難在第一時間知道還剩下哪些報警沒有恢復(fù)；
MySQL出現(xiàn)了慢查詢報警，DBA還需要登錄數(shù)據(jù)庫去查看；
有些報警優(yōu)先級不高，明明可以白天處理的，卻在晚上第一時間發(fā)出來；
同一個報警會反復(fù)報出來。

背景現(xiàn)狀

云極星創(chuàng)作為綜合性云服務(wù)提供者，既要做公有云的監(jiān)控，也要負責(zé)私有云的監(jiān)控。我們的研發(fā)團隊已經(jīng)建立了比較完善的OpenStack監(jiān)控體系，并且使用了多種監(jiān)控工具；因為云極星創(chuàng)的運維團隊和客戶分布在全國各地，所以該監(jiān)控體系的物理位置也是分散。

在公有云場景下，報警需要按照物理位置或者應(yīng)用類型發(fā)給不同的運維同學(xué)、運營同學(xué)和管理層。在私有云場景下，報警也需要推送給相應(yīng)的客戶。當前，我們主要采用微信為主，短信為輔的報警方式。

使用微信的優(yōu)缺點

使用微信的優(yōu)點：

基本免費；

圖文并茂、字節(jié)數(shù)限制較為寬裕；

微信客戶端和服務(wù)器端交互方便。

使用微信的缺點：

可用度依賴騰訊的服務(wù)器：

為此特意增加了對微信服務(wù)器接口的監(jiān)控，發(fā)現(xiàn)接口有問題之后會發(fā)短信報警；

客戶端需要保持聯(lián)網(wǎng)，沒有送達報告：

因此系統(tǒng)提供匯總表功能（詳見后文）。

優(yōu)秀報警處理系統(tǒng)的三要素

在合適的時間發(fā)給合適的人；
盡可能的提供更多的信息，使得接警人員在不開電腦情況下第一時間能大概知道哪里出了問題；
減少圍繞報警的人員溝通成本。

實施方案

架構(gòu)概覽

報警分類

普通報警：根據(jù)排班表發(fā)送給值班的運維同學(xué)，低級別的報警會延時發(fā)給對應(yīng)的應(yīng)用開發(fā)。

ELK日志報警：用戶在微信端可以查看

收到報警：確認、反饋和匯總

報警確認：當用戶點擊確認按鈕之后，對應(yīng)的人會收到確認信息。

報警處理結(jié)果反饋

匯總表：提供批量確認功能

報警收斂

基于關(guān)鍵字、主機名、Tag的復(fù)合報警收斂

報警升級

如果報警在一定時間沒被確認也沒有自動回復(fù)，會有一個報警升級動作

微信 vs 短信兩個平臺

所有微信接口做了加密處理，防止非授權(quán)用戶訪問和關(guān)注公眾號。短信平臺主要用來發(fā)送災(zāi)難級別的報警、微信API接口的報警，系統(tǒng)本身可用度的報警。

總結(jié) 系統(tǒng)使用的成果

云極星創(chuàng)之前使用的報警方案是郵件加短信的方式，在報警觸發(fā)之后，運維交流群會有大量圍繞報警的溝通，并且經(jīng)常發(fā)生報警風(fēng)暴，將短信發(fā)送平臺堵塞，在本系統(tǒng)投入使用之后，基本上所有的溝通都在系統(tǒng)內(nèi)進行。隨著豐富的報警附加信息，減少了二線運維工程師在處理故障時候開機登錄系統(tǒng)的次數(shù)。

研發(fā)歷程

本系統(tǒng)開發(fā)歷時半年左右，基本上隨著云極星創(chuàng)的發(fā)展而發(fā)展壯大起來，初期的想法是因為各家短信發(fā)送平臺隨著國家打擊電信詐騙的政策影響，變得越來越不好用，所以誕生了使用普及率非常高的微信來替代短信的想法。

第一個版本就是原封不動的推送Zabbix報警信息，隨著公有云規(guī)模的不斷擴大，報警不斷增多，另外私有云客戶也在不斷的增加，需要接受報警的人員也越來越分散，圍繞報警的溝通成本越來越高。

因此本系統(tǒng)的功能點都是圍繞著我們運維同學(xué)在處理報警時候遇到的痛點進行開發(fā)而成。經(jīng)過半年的發(fā)展，在我們內(nèi)部已經(jīng)將運維報警做成了運營的報警。

未來發(fā)展

報警系統(tǒng)和工單系統(tǒng)以及CMDB做關(guān)聯(lián)；
快速實現(xiàn)故障根因定位；
告警排行分析報表；

（備注：文中截圖來自于預(yù)發(fā)布環(huán)境下的運維測試）

重點在最后，代碼已經(jīng)托管到github

https://github.com/superbigsea/zabbix-wechat

本文題目：一個優(yōu)雅的報警處理系統(tǒng)范例
網(wǎng)站網(wǎng)址：http://muchs.cn/article34/ihgspe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、定制網(wǎng)站、微信公眾號、云服務(wù)器、靜態(tài)網(wǎng)站、網(wǎng)站收錄

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容