Elasticsearch聚合查询实战：从基础统计到多维度分析

1. Elasticsearch聚合查询入门从基础统计开始第一次接触Elasticsearch聚合查询时我把它想象成一个超级智能的Excel数据透视表。想象你有一张包含数百万行销售记录的表格传统方式可能需要导出数据再用Python或Excel处理而Elasticsearch聚合查询可以直接在数据库里完成这些复杂分析。最基础的聚合操作是计数统计。比如电商平台要统计不同颜色商品的库存总量GET /products/_search { size: 0, aggs: { color_count: { terms: { field: color.keyword, size: 10 } } } }这个查询会返回类似这样的结果{ aggregations: { color_count: { buckets: [ {key: 红色, doc_count: 1250}, {key: 蓝色, doc_count: 980}, {key: 黑色, doc_count: 1560} ] } } }这里有几个新手容易踩的坑必须设置size: 0否则会返回原始文档影响性能对text类型字段聚合时要加.keyword后缀默认只返回前10个分组可以通过size参数调整实际项目中我经常用value_count统计订单总数用cardinality计算UV独立访客数。比如统计促销活动的参与人数{ aggs: { total_participants: { cardinality: { field: user_id } } } }2. 指标聚合让数据会说话的基础运算掌握了基础分桶后就该学习指标计算了。这就像给数据装上计算器可以实时得出各种统计值。常见的指标聚合包括avg平均值分析客单价sum求和计算总销售额max/min极值分析找出爆款商品stats综合统计一次性获取计数/均值/总和/极值举个实际案例分析某电子产品商城的销售数据GET /sales/_search { size: 0, aggs: { price_stats: { stats: { field: price } }, category_stats: { terms: { field: category.keyword }, aggs: { avg_price: { avg: {field: price} }, max_price: { max: {field: price} } } } } }这个查询会返回两类数据全局价格统计所有商品按品类分组的价格分析在日志分析场景中我常用extended_stats聚合获取更详细的统计数据它比stats多了方差、标准差等指标。曾经用这个功能发现某个微服务的响应时间标准差过大从而定位到部分节点负载不均的问题。3. 嵌套聚合多维分析的利器当我们需要类似各省份不同年龄段用户的消费金额分布这样的分析时就需要嵌套聚合了。这就像俄罗斯套娃一层层拆解数据。3.1 基础嵌套实现以电商平台分析为例GET /orders/_search { size: 0, aggs: { by_region: { terms: {field: region.keyword}, aggs: { by_category: { terms: {field: category.keyword}, aggs: { avg_amount: { avg: {field: amount} } } } } } } }这个查询会生成类似这样的结构华北地区 ├── 数码产品平均金额 2580元 ├── 家居用品平均金额 680元 └── ... 华东地区 ├── 数码产品平均金额 2980元 └── ...3.2 实战技巧内存控制嵌套层级越深消耗内存越大建议不超过3层执行顺序Elasticsearch采用深度优先遍历合理设计聚合顺序结果过滤结合filter聚合实现having效果我在分析用户行为日志时经常用这样的结构{ aggs: { by_date: { date_histogram: { field: timestamp, calendar_interval: day }, aggs: { by_device: { terms: {field: device_type}, aggs: { active_users: { cardinality: {field: user_id} } } } } } } }4. 高级聚合实战电商与日志分析案例4.1 电商销售漏斗分析假设我们要分析用户的购买路径浏览→加购→下单→支付。通过聚合可以计算每个环节的转化率GET /user_events/_search { size: 0, query: { range: { timestamp: { gte: now-7d/d } } }, aggs: { funnel: { filters: { filters: { view: {term: {event_type: view}}, cart: {term: {event_type: add_to_cart}}, order: {term: {event_type: create_order}}, payment: {term: {event_type: payment}} } }, aggs: { uv: { cardinality: {field: user_id} } } } } }4.2 日志错误分析对于系统日志我们经常需要统计不同错误类型的分布GET /app_logs/_search { size: 0, query: { match: {level: ERROR} }, aggs: { error_types: { terms: { field: error_code, size: 5, order: {_count: desc} }, aggs: { by_service: { terms: {field: service_name}, aggs: { recent_errors: { top_hits: { size: 3, sort: [{timestamp: desc}] } } } } } } } }这个查询会找出最常见的5种错误按微服务名称分组显示每种错误的最新3条详细日志4.3 性能优化技巧在处理大数据量时我总结了几点经验尽量使用doc_values字段而非fielddata合理设置shard_size参数平衡精度与性能对高基数字段考虑使用composite聚合替代terms使用runtime_mappings减少索引字段比如这个优化后的查询{ runtime_mappings: { price_range: { type: keyword, script: if (doc[price].value 100) { emit(0-100); } else if (doc[price].value 500) { emit(100-500); } else { emit(500); } } }, aggs: { by_price_range: { terms: {field: price_range} } } }