Flink實時計算大促壓測的方法是什么

這篇文章主要介紹“Flink實時計算大促壓測的方法是什么”，在日常操作中，相信很多人在Flink實時計算大促壓測的方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Flink實時計算大促壓測的方法是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

郁南網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)！從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項目制作，到程序開發(fā)，運營維護。創(chuàng)新互聯(lián)自2013年創(chuàng)立以來到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

一、背景：

臨近雙11大促，為避免流量峰值較高，電商公司都會對系統(tǒng)進行壓測。一直做實時數(shù)據(jù)計算，應(yīng)用是基于Flink做的，接收kafka消息，進行數(shù)據(jù)統(tǒng)計，包括：pv、uv、dau、單量、成交額等等。

為了保證應(yīng)用在大促期間不出問題，需要進行實時計算程序進行壓測。由于統(tǒng)計的數(shù)據(jù)分為兩類(流量數(shù)據(jù)、訂單數(shù)據(jù))，對這兩類數(shù)據(jù)進行不同方式的壓測。

二、壓測準備

(1)壓測時間選擇：一般選擇在凌晨，對業(yè)務(wù)影響最小

(2)集群準備：搭建主備集群，將kafka集群、Flink集群、redis集群，分別搭建兩套，在資源有充裕的情況下。（主備集群既能夠做到容災(zāi)、高可用，也能在壓測過程，輕松實現(xiàn)壓測）

(3)如果資源有限，不能搭建主備集群，也能進行壓測，但是在災(zāi)備和高可用方面就沒辦法保證了

三、壓測實踐

情況一：有主備集群的情況下(壓測比較簡單)

(1)通知下游，將查詢的數(shù)據(jù)切換另外一套集群上(不進行壓測的集群)

(2)將kafka消息位點進行調(diào)整，將消息擠壓量調(diào)整至去年大促的峰值的幾倍左右

(3)重啟Flink應(yīng)用

(4)查看監(jiān)控：kafka監(jiān)控、Flink監(jiān)控

 kafka消息擠壓監(jiān)控

 Flink數(shù)據(jù)處理監(jiān)控

情況二：沒有主備集群的情況下(由于沒有主備集群，壓測可能會對下游統(tǒng)計數(shù)據(jù)存在影響，需要通知下游)

1.流量數(shù)據(jù)壓測(由于數(shù)據(jù)量較大不好做冪等處理，對下游影響較大)

(1)通知下游，將壓測安排在凌晨進行

(2)停止Flink應(yīng)用，造成消息擠壓，達到擠壓數(shù)量

(3)啟動Flink應(yīng)用，開始消費，查看各項監(jiān)控指標

注：沒有采用回置kafka消息位點，而是進行憋數(shù)，只造成短時間下游數(shù)據(jù)指標短時間不可用，整體影響不大

2.訂單數(shù)據(jù)壓測

沒有冪等處理，同樣可以采用流量的方法進行壓測

有冪等處理

(1)通知下游，進行壓測

(2)回置kafka消息位點

(3)重啟Flink應(yīng)用，開始消費，查看各項監(jiān)控指標

注：由于冪等處理，回置位點，不會對下游統(tǒng)計數(shù)據(jù)造成影響

到此，關(guān)于“Flink實時計算大促壓測的方法是什么”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

新聞標題：Flink實時計算大促壓測的方法是什么
當前地址：http://muchs.cn/article10/ighedo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、自適應(yīng)網(wǎng)站、全網(wǎng)營銷推廣、手機網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)