直擊DTCC2019現(xiàn)場(chǎng)：數(shù)據(jù)庫智能化運(yùn)維探索與實(shí)踐-創(chuàng)新互聯(lián)

5月10日，第十屆中國數(shù)據(jù)庫技術(shù)大會(huì)(DTCC2019)正在火熱進(jìn)行中。作為本屆大會(huì)討論的焦點(diǎn)之一，“數(shù)據(jù)庫智能運(yùn)維”專場(chǎng)人氣爆棚，來自京東物流、騰訊、字節(jié)跳動(dòng)、京東商城、便利峰的行業(yè)專家出席現(xiàn)場(chǎng)，他們就數(shù)據(jù)庫自動(dòng)化運(yùn)維、異地容災(zāi)系統(tǒng)等熱點(diǎn)話題作出經(jīng)驗(yàn)分享。

在米脂等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站建設(shè)、成都網(wǎng)站制作 網(wǎng)站設(shè)計(jì)制作按需規(guī)劃網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),成都全網(wǎng)營銷推廣,外貿(mào)網(wǎng)站制作,米脂網(wǎng)站建設(shè)費(fèi)用合理。

京東物流超大規(guī)模倉儲(chǔ)系統(tǒng)數(shù)據(jù)庫集群大促保障秘訣

京東物流極速的購物體驗(yàn)中，倉儲(chǔ)和配送時(shí)效是最為關(guān)鍵的一環(huán)。在電商行業(yè)中，京東物流擁有超強(qiáng)倉儲(chǔ)管理系統(tǒng)(簡(jiǎn)稱WMS系統(tǒng))，涵蓋了從在庫、入庫、出庫等環(huán)節(jié)，特別是在電商行業(yè)中獨(dú)有的超大規(guī)模倉儲(chǔ)系統(tǒng)集群，在其中起到了決定性的作用。

▲京東物流資深DBA高文佳

高文佳對(duì)WMS系統(tǒng)做了詳細(xì)介紹，并針對(duì)數(shù)據(jù)庫運(yùn)維提出了六點(diǎn)建議：敬畏生產(chǎn)環(huán)境，心存敬畏，方能行有所止;規(guī)范流程操作，拒絕人情“事故”;定期故障演練，做好緊急預(yù)案;高危操作+雙人確認(rèn)，減少誤操作;主動(dòng)運(yùn)維+自動(dòng)運(yùn)維，避免緊急救火;開展培訓(xùn)+積極溝通，將風(fēng)險(xiǎn)截留在開發(fā)階段。

TDSQL智能運(yùn)維平臺(tái)—扁鵲架構(gòu)與實(shí)踐

作為一款金融級(jí)數(shù)據(jù)庫,TDSQL具備六大核心特性,包括數(shù)據(jù)強(qiáng)一致性、金融級(jí)高可用、高性能低成本、企業(yè)級(jí)安全性、線性水平擴(kuò)展、智能化運(yùn)維。TDSQL通過提供“赤兔”自助運(yùn)營和“扁鵲”智能DBA徹底規(guī)避人為誤操作帶來的安全隱患。

▲騰訊金融云T4專家雷海林

“赤兔”自助運(yùn)營服務(wù),可以從管理員視角,在可用性、安全、效率、成本維度進(jìn)行全方位管控,90%的日常運(yùn)營操作均可以通過Web頁面完成,減少人為差錯(cuò)同時(shí)幫助金融用戶節(jié)約管理及經(jīng)濟(jì)成本、降低風(fēng)險(xiǎn)。

雷海林介紹道，“扁鵲”智能DBA則具備故障預(yù)警、故障自動(dòng)診斷、歷史事件剖析、優(yōu)化建議、操作通過管理臺(tái)自助化、降低DBA工作強(qiáng)度等特性，幫助金融用戶防范系統(tǒng)異常。

Canal的自動(dòng)化運(yùn)維以及異地容災(zāi)系統(tǒng)實(shí)踐

傳統(tǒng)數(shù)據(jù)庫的運(yùn)維方式，很難滿足大數(shù)據(jù)場(chǎng)景下的穩(wěn)定性和高效性。Canal作為中間件解決了MySQL Binlog的獲取，將Binlog保存到消息隊(duì)列中，后續(xù)接流式計(jì)算框架，或者離線計(jì)算框架。

對(duì)此，字節(jié)跳動(dòng)對(duì) Canal的智能化運(yùn)維，自動(dòng)感知數(shù)據(jù)庫的變更和主動(dòng)適配，并提出多機(jī)房部署及異地容災(zāi)解決方案，實(shí)現(xiàn)了多機(jī)房 Canal 實(shí)例的統(tǒng)一智能管理。李暢表示，“我們采用Manager Mode架構(gòu)，要求保證數(shù)據(jù)一致性、準(zhǔn)確性，服務(wù)的穩(wěn)定性，做離線數(shù)倉建設(shè)和在線實(shí)時(shí)同步。”

▲字節(jié)跳動(dòng)高級(jí)大數(shù)據(jù)平臺(tái)工程師李暢

對(duì)于未來的發(fā)展規(guī)劃，李暢透露，“我們希望在穩(wěn)定性方面，支持實(shí)例自動(dòng)Rebalance，避免單機(jī)負(fù)載過高;在運(yùn)維方面，支持實(shí)例配置運(yùn)維中心，實(shí)例流量智能監(jiān)控及預(yù)警?！?/p>

機(jī)器學(xué)習(xí)在數(shù)據(jù)庫運(yùn)維上的應(yīng)用

傳統(tǒng)數(shù)據(jù)庫運(yùn)維方式具有許多局限性，被動(dòng)優(yōu)化(監(jiān)控/報(bào)警/慢SQL/應(yīng)用報(bào)錯(cuò)等);耗時(shí)耗力且低效，較難形成閉環(huán);受限于人的局限性，復(fù)雜場(chǎng)景缺乏擴(kuò)展性;決策過程中數(shù)據(jù)價(jià)值缺失，決策標(biāo)準(zhǔn)主觀性較大;DBA專家緊缺與數(shù)據(jù)庫服務(wù)要求之間的矛盾更加突出等。

如何做到能夠讓資源精準(zhǔn)分配，并做到提前防范?基于機(jī)器學(xué)習(xí)的京東智能運(yùn)維平臺(tái)SmartDBS系統(tǒng)在逐步化解這些難題。該系統(tǒng)包含分類、預(yù)測(cè)、診斷、決策和調(diào)度5大模塊。分類、預(yù)測(cè)、診斷的數(shù)據(jù)最終進(jìn)入決策模塊參與容器資源分配的決策，并推送進(jìn)入調(diào)度實(shí)現(xiàn)資源的重新合理分配。

▲京東商城開發(fā)工程師彭安

彭安表示，“SmartDBS的價(jià)值在于專家系統(tǒng)、智能診斷和預(yù)測(cè)分析三個(gè)方面。其中專家決策，降本提效，可免去人員維護(hù)的主觀性;多維數(shù)據(jù)建模分析全面診斷數(shù)據(jù)庫;單指標(biāo)特征預(yù)測(cè)多模型數(shù)據(jù)校驗(yàn)分析?！?/p>

便利蜂數(shù)據(jù)庫運(yùn)維自動(dòng)化從0到1演進(jìn)之路

便利峰數(shù)據(jù)庫管理平臺(tái)包含備份系統(tǒng)、慢查詢系統(tǒng)、在線變更系統(tǒng)、在線查詢系統(tǒng)、MySQL高可用系統(tǒng)等。其中包含需求申請(qǐng)、SQL操作、集群管理、容量管理、日志查詢、慢查詢管理、服務(wù)治理、數(shù)據(jù)庫管理、備份管理、Redis管理平臺(tái)、集群監(jiān)控、OPS管理平臺(tái)、Beta管理、平臺(tái)周報(bào)等功能。

▲便利蜂DBA陳海峰

關(guān)于便利峰SQL變更系統(tǒng)的發(fā)展歷程，陳海峰透露主要有“萌芽期、突破期和迭代期”三個(gè)階段，“首先，我們做的工作主要是流程規(guī)范、備份監(jiān)控、慢查詢系統(tǒng)。然后，SQL變更、SQL查詢、數(shù)據(jù)庫高可用的研發(fā);從18年10月份至今，我們開始部署擴(kuò)容集群，進(jìn)行服務(wù)治理和容量管理?！?/p>

數(shù)據(jù)庫運(yùn)維自動(dòng)化來源于工作中的痛點(diǎn)，而這種壓力推動(dòng)了技術(shù)的不斷變革。通過上述五位行業(yè)專家的分享，我們可以從更多角度來思考數(shù)據(jù)庫的智能運(yùn)維。未來，將是自動(dòng)化和智能化數(shù)據(jù)庫運(yùn)維的時(shí)代。

當(dāng)前標(biāo)題：直擊DTCC2019現(xiàn)場(chǎng)：數(shù)據(jù)庫智能化運(yùn)維探索與實(shí)踐-創(chuàng)新互聯(lián)
當(dāng)前鏈接：http://muchs.cn/article0/dhodoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、企業(yè)網(wǎng)站制作、Google、動(dòng)態(tài)網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)、App設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)