Storm面試題案例分析-創(chuàng)新互聯(lián)

本篇內(nèi)容介紹了“Storm面試題案例分析”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)于2013年開(kāi)始，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元南召做網(wǎng)站,已為上家服務(wù),為南召各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

1、需求分析

平臺(tái)在活動(dòng)促銷日（例如雙 11）要求實(shí)時(shí)展示當(dāng)日的一些銷售信息我們從三個(gè)維度去統(tǒng)計(jì)計(jì)算：

平臺(tái)運(yùn)維角度統(tǒng)計(jì)指標(biāo)： 平臺(tái)總銷售額、平臺(tái)下單人數(shù)、平臺(tái)商品銷售數(shù)量。

商品銷售角度統(tǒng)計(jì)指標(biāo)： 每個(gè)商品總銷售額、每個(gè)商品購(gòu)買人數(shù)、每個(gè)商品銷售數(shù)量。

店鋪銷售角度統(tǒng)計(jì)指標(biāo)： 每個(gè)店鋪總銷售額、每個(gè)店鋪購(gòu)買人數(shù)、每個(gè)店鋪銷售數(shù)量。

2、確定數(shù)據(jù)源

數(shù)據(jù)源：訂單系統(tǒng)與支付系統(tǒng)產(chǎn)生的數(shù)據(jù)。

3、確定采集方案

訂單系統(tǒng)和支付系統(tǒng)產(chǎn)生的數(shù)據(jù) 通過(guò) ActiveMQ 到 kafka 中，Storm 集成kafka 獲取數(shù)據(jù)。（注：為什么用 ActiveMQ?一方面，電商業(yè)務(wù)系統(tǒng)當(dāng)中需要用到事務(wù)支持，只能用比較嚴(yán)謹(jǐn)?shù)?jms 系統(tǒng)來(lái)實(shí)現(xiàn)，所以考慮到用 ActiveMQ。另一方面，kafka 直接讀取數(shù)據(jù)庫(kù)，會(huì)影響數(shù)據(jù)庫(kù)速度。所以訂單系統(tǒng)的數(shù)據(jù)通過(guò) ActiveMQ 這個(gè)中間件來(lái)落地到數(shù)據(jù)庫(kù)，kafka從ActiveMQ 中間件中取數(shù)據(jù)，就可以避免直接讀數(shù)據(jù)庫(kù)的問(wèn)題。）

4、確定存儲(chǔ)

我們將 Storm 處理后的數(shù)據(jù)，通過(guò) Redis 來(lái)累加計(jì)數(shù)并存儲(chǔ)在 Redis 中。

5、數(shù)據(jù)計(jì)算

編寫 Storm 代碼：Storm 與 kafka 整合來(lái)獲取到數(shù)據(jù)，將每一條數(shù)據(jù)信息，利用 Redis 中 incrBy 這個(gè)命令來(lái)累加計(jì)數(shù)并存儲(chǔ)在 Redis 中。

6、展現(xiàn)

可以寫一個(gè)定時(shí)器，定時(shí)的去 Redis 中獲取結(jié)果數(shù)據(jù)，展示到 web 界面上。

7、storm 日志監(jiān)控告警系統(tǒng)

8、需求分析

實(shí)現(xiàn)項(xiàng)目中日志監(jiān)控的功能，需要做到日志監(jiān)控實(shí)時(shí)告警，例如系統(tǒng)中出現(xiàn)任何異常，觸發(fā)任何的告警規(guī)則，都可以實(shí)時(shí)通過(guò)短信或者郵件告知相關(guān)系統(tǒng)負(fù)責(zé)人。

9、確定數(shù)據(jù)源

每個(gè)業(yè)務(wù)系統(tǒng)（如： 訂單系統(tǒng)，商品管理系統(tǒng)，用戶系統(tǒng)）產(chǎn)生的日志信息。

10、確定采集方案

將日志數(shù)據(jù) 通過(guò) flume 采集到 kafka 中，Storm 集成 kafka 獲取數(shù)據(jù)。

11、確定存儲(chǔ)

將觸發(fā)告警規(guī)則的數(shù)據(jù)，存儲(chǔ)在MySQL 數(shù)據(jù)庫(kù)中。

12、數(shù)據(jù)計(jì)算

·通過(guò)自定義flume 攔截器，給不同系統(tǒng)產(chǎn)生的日志數(shù)據(jù)前加上一個(gè)appId 來(lái)做唯一標(biāo)識(shí)(不同系統(tǒng)對(duì)應(yīng)的告警規(guī)則和負(fù)責(zé)人不同，所以這里要加一個(gè)唯一標(biāo)識(shí)方便我們查找對(duì)應(yīng)的規(guī)則和負(fù)責(zé)人)。

·Storm 代碼編寫步驟：

（1）、獲取 kafka 中的數(shù)據(jù)。

（2）、設(shè)置定時(shí)器，定時(shí)讀取在 MySQL 數(shù)據(jù)庫(kù)中的告警規(guī)則（數(shù)據(jù)庫(kù)中的告警規(guī)則我們可以隨時(shí)去修改，所以要采用定時(shí)器去讀取，保證拿到是最新的規(guī)則）。

（3）、將獲取到的數(shù)據(jù)，與告警規(guī)則進(jìn)行匹配，得到匹配成功的告警數(shù)據(jù)信息。

（4）、將告警信息 以郵件，或者短信 方式發(fā)送給對(duì)應(yīng)的負(fù)責(zé)人（對(duì)應(yīng)人的信息，從 MySQL 數(shù)據(jù)庫(kù)中獲?。?/p>

（5）、最后將警告信息存儲(chǔ)到我們的 MySQL 數(shù)據(jù)庫(kù)中（方便以后查詢異常記錄）。

“Storm面試題案例分析”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

網(wǎng)站名稱：Storm面試題案例分析-創(chuàng)新互聯(lián)
URL鏈接：http://muchs.cn/article22/cdchcc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、軟件開(kāi)發(fā)、全網(wǎng)營(yíng)銷推廣、網(wǎng)站設(shè)計(jì)、Google、網(wǎng)頁(yè)設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)