ElasticSearch系列四：掌握ES聚合数据分析

1.两个核心概念

bucket：一个数据分组，类似数据库分组group by
metric：对一个数据分组执行的统计，常见的数据分析的metric操作有count，avg，max，min，sum

2.有分词的字段需要field的fielddata属性设置为true

PUT /ecommerce/_mapping/product
{
  "properties": {
"tags": {
 "type": "text",
 "fielddata": true
}
  }
}

3.常用统计示例

例1.计算每个tag下的商品数量
GET /ecommerce/product/_search
{
  "aggs": {
"group_by_tags": {
 "terms": { "field": "tags" }
}
  }
}
例2.对名称中包含yagao的商品，计算每个tag下的商品数量
GET /ecommerce/product/_search
{
  "size": 0,
  "query": {
"match": {
 "name": "yagao"
}
  },
  "aggs": {
"all_tags": {
 "terms": {
"field": "tags"
 }
}
  }
}
例3.先分组，再算每组的平均值，计算每个tag下的商品的平均价格
GET /ecommerce/product/_search
{
"size": 0,
"aggs" : {
"group_by_tags" : {
"terms" : { "field" : "tags" },
"aggs" : {
"avg_price" : {
"avg" : { "field" : "price" }
}
}
}
}
}
例4.计算每个tag下的商品的平均价格，并且按照平均价格降序排序
GET /ecommerce/product/_search
{
"size": 0,
"aggs" : {
"all_tags" : {
"terms" : { "field" : "tags", "order": { "avg_price": "desc" } },
"aggs" : {
"avg_price" : {
"avg" : { "field" : "price" }
}
}
}
}
}
例5.按照指定的价格范围区间进行分组，然后在每组内再按照tag进行分组，最后再计算每组的平均价格
GET /ecommerce/product/_search
{
  "size": 0,
  "aggs": {
"group_by_price": {
 "range": {
"field": "price",
"ranges": [
 {
"from": 0,
"to": 20
 },
 {
"from": 20,
"to": 40
 },
 {
"from": 40,
"to": 50
 }
]
 },
 "aggs": {
"group_by_tags": {
 "terms": {
"field": "tags"
 },
 "aggs": {
"average_price": {
 "avg": {
"field": "price"
 }
}
 }
}
 }
}
  }
}

4.count、avg、max、min、sum

GET /tvs/sales/_search
{
   "size" : 0,
   "aggs": {
 "colors": {
"terms": {
"field": "color"
},
"aggs": {
"avg_price": { "avg": { "field": "price" } },
"min_price" : { "min": { "field": "price"} }, 
"max_price" : { "max": { "field": "price"} },
"sum_price" : { "sum": { "field": "price" } } 
}
 }
   }
}

5.使用内置field不分词，对string field进行聚合

GET /test_index/test_type/_search 
{
 "size": 0,
 "aggs": {
"group_by_test_field": {
 "terms": {
"field": "test_field.keyword"
 }
}
 }
}

6.下钻：多层次的下钻，即分组再分组，多层嵌套聚合

例：每个颜色的电视中的品牌的数量和平均价格是多少
GET /tvs/sales/_search 
{
 "size": 0,
 "aggs": {
"group_by_color": {
 "terms": {
"field": "color"
 },
 "aggs": {
"color_avg_price": {
 "avg": {
"field": "price"
 }
},
"group_by_brand": {
 "terms": {
"field": "brand"
 },
 "aggs": {
"brand_avg_price": {
 "avg": {
"field": "price"
 }
}
 }
}
 }
}
 }
}

7.histogram：类似于terms，也是进行bucket分组操作，接收一个field，按照这个field的值的各个范围区间，进行bucket分组操作

例：GET /tvs/sales/_search
{
  "size" : 0,
  "aggs":{
 "price":{
"histogram":{ 
"field": "price",
"interval": 2000
},
"aggs":{
"revenue": {
  "sum": { 
"field" : "price"
  }
}
}
 }
  }
}

8.date histogram，按照我们指定的某个date类型的日期field，以及日期interval，按照一定的日期间隔，去划分bucket

  min_doc_count：区间无值补0
  extended_bounds，min，max：划分bucket的时候，会限定在这个起始日期，和截止日期内
  例：GET /tvs/sales/_search
{
  "size" : 0,
  "aggs": {
"sales": {
  "date_histogram": {
"field": "sold_date",
"interval": "month", 
"format": "yyyy-MM",
"min_doc_count": 0,
"extended_bounds" : { 
"min" : "2016-01",
"max" : "2017-12"
}
  }
}
  }
}

9.搜索结合聚合aggregation，scope

出来两个结果，一个结果，是基于query搜索结果来聚合的; 一个结果，是对所有数据执行聚合的
global：就是global bucket，就是将所有数据纳入聚合的scope，而不管之前的query
例：GET /tvs/sales/_search 
{
 "size": 0, 
 "query": {
"term": {
 "brand": {
"value": "长虹"
 }
}
 },
 "aggs": {
"single_brand_avg_price": {
 "avg": {
"field": "price"
 }
},
"all": {
 "global": {},
 "aggs": {
"all_brand_avg_price": {
 "avg": {
"field": "price"
 }
}
 }
}
 }
}
global：就是global bucket，就是将所有数据纳入聚合的scope，而不管之前的query