海量數(shù)據(jù)下的輿情分析，該如何搭建？

互聯(lián)網(wǎng)的飛速發(fā)展促進了很多新媒體的發(fā)展，不論是知名的大V，明星還是圍觀群眾都可以通過手機在微博、朋友圈或者點評網(wǎng)站上發(fā)表動態(tài)，分享自己的所見所想，使得“人人都有了麥克風”。不論是熱點新聞還是娛樂八卦，傳播速度遠超我們的想象，一則信息可以在短短數(shù)分鐘內(nèi)，有數(shù)萬計轉(zhuǎn)發(fā)，數(shù)百萬的閱讀。海量信息可以得到爆炸式的傳播，那么如何實時把握信息并作出對應的處理呢?是不是真的難以應對?今天，阿里云智能事業(yè)群的宇珩來跟我們聊聊大數(shù)據(jù)輿情系統(tǒng)對數(shù)據(jù)存儲和計算系統(tǒng)會有哪些需求，如何根據(jù)需求來進行系統(tǒng)設計。

大數(shù)據(jù)時代下，除了媒體信息以外，商品在各類

整個計算流程會產(chǎn)生實時的輿情計算結(jié)果。重大輿情事件的預警，通過Tablestore和函數(shù)計算觸發(fā)器對接來實現(xiàn)。Tablestore和函數(shù)計算做了增量數(shù)據(jù)的無縫對接，通過結(jié)果表寫入事件，可以輕松的通過函數(shù)計算觸發(fā)短信或者郵件通知。完整的輿情分析結(jié)果和展示搜索利用了Tablestore的新功能多元索引，徹底解決了開源Hbase+Solr 多引擎的痛點：

運維復雜，需要有運維hbase和solr兩套系統(tǒng)的能力，同時還需要維護數(shù)據(jù)同步的鏈路。

Solr數(shù)據(jù)一致性不如Hbase，在Hbase和Solr數(shù)據(jù)語意并不是完全一致，加上Solr/Elasticsearch在數(shù)據(jù)一致性很難做到像數(shù)據(jù)庫那么嚴格。在一些極端情況下會出現(xiàn)數(shù)據(jù)不一致的問題，開源方案也很難做到跨系統(tǒng)的一致性比對。

查詢接口需要維護兩套API，需要同時使用Hbase client和Solr client，索引中沒有的字段需要主動反查Hbase，易用性較差。

新聞標題：海量數(shù)據(jù)下的輿情分析，該如何搭建？
地址分享：http://muchs.cn/news/104054.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、搜索引擎優(yōu)化、網(wǎng)站營銷、網(wǎng)頁設計公司、網(wǎng)站收錄、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)