日志實(shí)時(shí)分析架構(gòu)

在上家公司工作時(shí)，設(shè)計(jì)的日志收集與實(shí)時(shí)分析架構(gòu)，還是比較簡(jiǎn)單的:

創(chuàng)新互聯(lián)建站企業(yè)建站,十年網(wǎng)站建設(shè)經(jīng)驗(yàn)，專注于網(wǎng)站建設(shè)技術(shù)，精于網(wǎng)頁(yè)設(shè)計(jì)，有多年建站和網(wǎng)站代運(yùn)營(yíng)經(jīng)驗(yàn)，設(shè)計(jì)師為客戶打造網(wǎng)絡(luò)企業(yè)風(fēng)格，提供周到的建站售前咨詢和貼心的售后服務(wù)。對(duì)于網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站制作中不同領(lǐng)域進(jìn)行深入了解和探索，創(chuàng)新互聯(lián)在網(wǎng)站建設(shè)中充分了解客戶行業(yè)的需求，以靈動(dòng)的思維在網(wǎng)頁(yè)中充分展現(xiàn)，通過(guò)對(duì)客戶行業(yè)精準(zhǔn)市場(chǎng)調(diào)研，為客戶提供的解決方案。

flume-ng + rocketmq + storm + redis + 前端展示

消息隊(duì)列部分，我們剛開(kāi)始采用的是kafka，但 kafka在支持回溯消費(fèi)和重復(fù)消費(fèi)方面比較弱，同時(shí)在數(shù)據(jù)安全方面也相對(duì)弱一些，后來(lái)我們改為阿里的rocketmq。

考慮到我們的數(shù)據(jù)量也不是很大，已經(jīng)能夠足夠支撐，但在rocketmq這層，有時(shí)會(huì)因?yàn)榫W(wǎng)絡(luò)異常問(wèn)題，會(huì)產(chǎn)生消息堆積，導(dǎo)致消息隊(duì)列被沖爆，穩(wěn)定性還不是非常高，后來(lái)咨詢了其他部門的同事，他們的做法是，在消息隊(duì)列這一層次，額外增加了一層MongoDB，消息隊(duì)列這層僅保留消息的索引信息，消息的實(shí)體信息保存在mongodb中，可以很好地回避此問(wèn)題，后來(lái)由于各種原因就沒(méi)有再去嘗試此方法......

其他一些常用方案：

logstash + elasticsearch + kibana

fluentd + influxdb + grafana

flume-ng + kafka + storm

kafka + spark streaming + redis

網(wǎng)頁(yè)標(biāo)題：日志實(shí)時(shí)分析架構(gòu)
轉(zhuǎn)載來(lái)于：http://www.muchs.cn/article46/ishgeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營(yíng)銷、網(wǎng)站維護(hù)、做網(wǎng)站、網(wǎng)站排名、響應(yīng)式網(wǎng)站、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)