ES聚合學習筆記之--HyperLogLog與BloomFilter-創(chuàng)新互聯(lián)

ES的聚合是其一大特色。然而出于性能的考慮， ES的聚合是以分片Shard為單位，而非Index為單位， 所以
有些聚合的準確性是需要注意的。 比如： TermAggregations.

“只有客戶發(fā)展了，才有我們的生存與發(fā)展！”這是創(chuàng)新互聯(lián)的服務宗旨！把網站當作互聯(lián)網產品，產品思維更注重全局思維、需求分析和迭代思維，在網站建設中就是為了建設一個不僅審美在線，而且實用性極高的網站。創(chuàng)新互聯(lián)對成都網站制作、做網站、外貿營銷網站建設、網站制作、網站開發(fā)、網頁設計、網站優(yōu)化、網絡推廣、探索永無止境。

es的基數聚合使用到了hyperloglog算法。 出于好奇，了解了一下。

在海量數據場景下， 我們通常會遇到這樣的兩個問題:

  1. 數據排重。比如在推送消息場景，消息重復對用戶是打擾， 用戶發(fā)券場景， 重復發(fā)券就是損失了。

  2. pv/uv統(tǒng)計。這類場景下， 對精確度要求沒必要錙銖必較。

如何高效解決這兩類問題呢？

對于數據排重， 我們可以使用布隆過濾器。java 樣列代碼如下:

BloomFilter<String> bloomFilter = BloomFilter.create(new Funnel<String>() {

            private static final long serialVersionUID = 1L;

            @Override
            public void funnel(String arg0, PrimitiveSink arg1) {

                arg1.putString(arg0, Charsets.UTF_8);
            }

        }, 1024*1024*32);

        bloomFilter.put("asdf");
        bloomFilter.mightContain("asdf");

對于計數， 我們可以使用HyperLogLog算法，ES中已經有相關的實現(xiàn)。

其實封裝一下，布隆過濾器也是能直接實現(xiàn)HyperLogLog算法的功能的。

這里遺留幾個問題，思考清楚后補充:

  1. BloomFilter跟HyperLogLog算法的原理
  2. 相同量級數據下的效率及內存消耗
  3. 各自的適用場景有哪些

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

本文標題：ES聚合學習筆記之--HyperLogLog與BloomFilter-創(chuàng)新互聯(lián)
文章源于：http://muchs.cn/article34/djejse.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供關鍵詞優(yōu)化、全網營銷推廣、Google、商城網站、用戶體驗、自適應網站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)

外貿網站制作