如何實(shí)現(xiàn)ClickHouse與Elasticsearch聚合性能對(duì)比測(cè)試

Elasticsearch以其優(yōu)秀的分布式架構(gòu)與全文搜索引擎等特點(diǎn)在機(jī)器數(shù)據(jù)的存儲(chǔ)、分析領(lǐng)域廣為使用，但隨著數(shù)據(jù)量的增長(zhǎng)，其聚合分析性能已無(wú)法滿(mǎn)足業(yè)務(wù)需求。而ClickHouse作為一個(gè)高性能的OLAP列式數(shù)據(jù)庫(kù)管理系統(tǒng)有望解決這一痛點(diǎn)。

本文是對(duì)ClickHouse與Elasticsearch聚合性能的簡(jiǎn)單對(duì)比測(cè)試。主要關(guān)注查詢(xún)語(yǔ)句的響應(yīng)時(shí)間，暫不考慮資源占用情況。

使用ClickHouse官方提供的測(cè)試數(shù)據(jù)集，共67G，約6億行。

其中，ClickHouse使用LO_ORDERDATE字段作為分區(qū)鍵，使用LO_ORDERDATE, LO_ORDERKEY作為排序鍵。

某字段出現(xiàn)次數(shù)TOP 10

# ClickHouse
SELECT LO_SHIPMODE,COUNT() FROM lineorder GROUP BY LO_SHIPMODE ORDER BY COUNT() DESC LIMIT 10

# Elasticsearch
GET lineorder/_search
{
 "aggs": {
   "1": {
     "terms": {
       "field": "LO_SHIPMODE.keyword",
       "order": {
         "_count": "desc"
       },
       "size": 10
     }
   }
 },
 "size": 0
}

某字段按年進(jìn)行計(jì)數(shù)

# ClickHouse
SELECT toYear(LO_ORDERDATE),COUNT() FROM lineorder GROUP BY toYear(LO_ORDERDATE) FORMAT PrettyCompactMonoBlock

# Elasticsearch
GET lineorder/_search
{
 "aggs": {
   "2": {
     "date_histogram": {
       "field": "LO_ORDERDATE",
       "calendar_interval":"1y",
       "format":"yyyy-MM-dd"
     }
   }
 },
 "size": 0
}

多個(gè)字段按年進(jìn)行統(tǒng)計(jì)

# ClickHouse
SELECT LO_ORDERDATE,LO_ORDERKEY,LO_SHIPMODE,LO_ORDERPRIORITY,LO_COMMITDATE FROM lineorder WHERE LO_ORDERDATE >= '1992-01-01' AND LO_ORDERDATE < '1993-01-01' ORDER BY LO_ORDERDATE  LIMIT 500

# Elasticsearch
GET lineorder/_search
{
 "size": 500,
 "sort": [
   {
     "timestamp": {
       "order": "desc",
       "unmapped_type": "boolean"
     }
   }
 ],
 "query": {
   "bool": {
     "must": [],
     "filter": [
       {
         "match_all": {}
       },
       {
         "match_all": {}
       },
       {
         "range": {
           "LO_ORDERDATE": {
             "gte": "1992-01-01",
             "lte": "1993-01-01",
             "format": "strict_date_optional_time"
           }
         }
       }
     ],
     "should": [],
     "must_not": []
   }
 }
}

基于時(shí)間的多字段聚合

# ClickHouse
SELECT toYear(LO_ORDERDATE),LO_SHIPMODE,COUNT() FROM lineorder GROUP BY toYear(LO_ORDERDATE),LO_SHIPMODE ORDER BY toYear(LO_ORDERDATE) FORMAT PrettyCompactMonoBlock

# Elasticsearch
GET lineorder/_search
{
 "aggs": {
   "3": {
     "terms": {
       "field": "LO_SHIPMODE.keyword",
       "order": {
         "_count": "desc"
       },
       "size": 10
     },
     "aggs": {
       "2": {
         "date_histogram": {
           "field": "LO_ORDERDATE",
           "calendar_interval": "1y",
           "time_zone": "Asia/Shanghai",
           "min_doc_count": 1
         }
       }
     }
   }
 },
 "size": 0
}

基于時(shí)間的多字段聚合

# ClickHouse
SELECT toYear(LO_ORDERDATE),LO_SHIPMODE,COUNT() FROM lineorder GROUP BY toYear(LO_ORDERDATE),LO_SHIPMODE ORDER BY toYear(LO_ORDERDATE) FORMAT PrettyCompactMonoBlock

# Elasticsearch
GET lineorder/_search
{
 "aggs": {
   "3": {
     "terms": {
       "field": "LO_SHIPMODE.keyword",
       "order": {
         "_count": "desc"
       },
       "size": 10
     },
     "aggs": {
       "2": {
         "date_histogram": {
           "field": "LO_ORDERDATE",
           "calendar_interval": "1y",
           "time_zone": "Asia/Shanghai",
           "min_doc_count": 1
         }
       }
     }
   }
 },
 "size": 0
}

聚合嵌套（非時(shí)間字段）

# ClickHouse
SELECT LO_SHIPMODE,COUNT(LO_SHIPMODE),LO_ORDERPRIORITY,COUNT(LO_ORDERPRIORITY) FROM lineorder GROUP BY LO_SHIPMODE,LO_ORDERPRIORITY ORDER BY COUNT(LO_SHIPMODE),COUNT(LO_ORDERPRIORITY) LIMIT 5 BY LO_SHIPMODE,LO_ORDERPRIORITY

# Elasticsearch
GET lineorder/_search
{
 "aggs": {
   "2": {
     "terms": {
       "field": "LO_SHIPMODE.keyword",
       "order": {
         "_count": "desc"
       },
       "size": 5
     },
     "aggs": {
       "3": {
         "terms": {
           "field": "LO_ORDERPRIORITY.keyword",
           "order": {
             "_count": "desc"
           },
           "size": 5
         }
       }
     }
   }
 },
 "size": 0
}

相同數(shù)據(jù)量下，ClickHouse的聚合性能都要優(yōu)于Elasticsearch，且如果基于排序鍵進(jìn)行聚合，性能更好，是ES的數(shù)倍。
此外，ClickHouse的SummaryMergeTree、AggregatingMergeTree表引擎支持后臺(tái)自動(dòng)聚合數(shù)據(jù)，所以在某些場(chǎng)景下其聚合分析性能會(huì)更優(yōu)。