es聚合查询与多维度数据统计

最新推荐文章于 2024-08-04 07:56:44 发布
最新推荐文章于 2024-08-04 07:56:44 发布
阅读量7.2w 收藏 29
点赞数 12
分类专栏： ElasticSearch 文章标签： es聚合查询与多维度数据统计 es聚合分析 es统计 es分组查询
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangcongyi420/article/details/97611055
版权
ElasticSearch 专栏收录该内容
25 篇文章 570 订阅 ¥19.90 ¥99.00
订阅专栏
本文介绍了Elasticsearch（ES）中的聚合查询，包括搜索与聚合的区别、高阶概念如buckets和metrics。通过实例展示了如何按照颜色分组统计电视数量、计算平均价格，以及使用histogram进行价格区间划分和date histogram进行时间间隔划分，从而实现多维度的数据统计分析。
摘要由CSDN通过智能技术生成

首先要弄清楚两个概念，聚合与搜索

搜索

即从一个索引下按照特定的字段或关键词搜索出符合用户预期的一个或者一堆cocument，然后根据文档的相关度得分，在返回的结果集里并根据得分对这些文档进行一定的排序

聚合

根据业务需求，对文档中的某个或某几个字段进行数据的分组并做一些指标数据的统计分析，比如要计算一批文档中某个业务字段的总数，平均数，最大最小值等，都属于聚合的范畴

以上两个概念后是理解下面实验的基础，如果是传统关系数据库mysql，oracle等存储的数据，也可以搜索和聚合，但是在数据聚合分析一块，毕竟不是它们的强项，而且需要在程序中做大量的处理，耗时费力，尤其是大数据量的情况下酒有些力不从心了；

但在es中，由于内置了聚合统计的相关功能，只需要使用好它的语法即可达到几近实时的聚合统计，和搜索花费时间基本上没有太大差别，因此使用es很适合在数据量大的业务场景下做聚合统计与分析

高阶概念

  • Buckets(桶/集合):满足特定条件的文档的集合
了解本专栏 订阅专栏 解锁全文
小码农叔叔
关注
专栏目录
订阅专栏
elasticsearch 聚合查询
杨杨杨~~的博客
04-28 697
1. 桶聚合（Bucket Aggregations）：将文档分割成不同的桶（buckets），每个桶代表一个条件或者标准。常见的桶聚合包括根据词条、范围、日期等条件进行分桶。 2. 度量聚合（Metric Aggregations）：对文档中的数值字段进行计算，生成统计指标，如平均值、总和、最大值、最小值等。 3. 嵌套聚合（Nested Aggregations）：在其他聚合的结果上进行嵌套，以实现更复杂的分析。 4. 指标聚合（Matrix Aggregations）：对多个字段执行度量聚合，
【ES小结】还在用ElasticSearch做查询？换条思路实现高效数据统计_es能做统计(1)
2401_84166258的博客
04-30 464
query(QueryBuilders.matchAllQuery())//查询条件。//基于terms 类型聚合 基于字段进行分组聚合。//用来设置聚合处理。
ES聚合统计group by,sum,max,min,avg,count等聚合统计
絮落锦乡的博客
02-01 7575
ES聚合统计group by,sum,max,min,avg,count等聚合统计
Elasticsearch 的DSL查询，聚合查询与多维度数据统计
最新发布
t194978的博客
08-04 1255
以上两个概念后是理解下面实验的基础，如果是传统关系数据库mysql、oracle等存储的数据，也可以搜索和聚合，但是在数据聚合分析一块，毕竟不是它们的强项，而且需要在程序中做大量的处理，耗时费力，尤其是大数据量的情况下就有些力不从心了。在一个aggs执行的bucket操作（terms），平级的json结构下，再加一个aggs，这个第二个aggs内部，同样取个名字，执行一个metric操作，avg，对之前的每个bucket中的数据的指定的field、price。
es 聚合统计
he_yanghui的博客
01-05 2911
最新项目做ES 统计 就分享一下： 直接上代码 /** * 根据门类名称来分组统计 ，同时根据时间段获取数据 */ @Override public List<Map> esTjByMl(EsSearchDto esSearchDto) { List<Map> returnResult = new ArrayList<>(); String index = esSearchDto.getIndex(); try { SearchRequest
es搜索，统计
qq_20182781的博客
07-16 137
记得好几年前用es做过标签画像统计，如今再看es时已是很生疏了，再用时已更新到了7.12版本了。以前用TransportClient客户端，现在出了而且是官方推荐用RestHighLevelClient客户端。这几天用RestHighLevelClient时还是觉得比较方便的。现将一些基本常用功能记录一下。
ElasticSearch的多维度聚合心得
aeolus83的专栏
10-28 1611
       最近拿ElasticSearch当数据库使用，应用场景中用到了多维度聚合的需求。        聚合需求是：项目id,渠道id,产品id这样的三维度聚合。变成SQL语句的话，大概是 SELECT project_id,channel_id,item_id,SUM(sell_num),SUM(order_num),SUM(sale_income) Group By proje...
elasticSearch聚合查询案例（按照小时、天统计数据）
weixin_43704834的博客
10-19 7410
es查询json { "from": 0, "size": 0, "query": { "bool": { "must": [ { "match_all": {} } ], "must_not": [], "should": [] } }, "aggs": { "group_by_captureTime": { "date_histogram": {
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch查询客户端是用于与ES服务器通信的软件，它们提供了多种语言的API，允许开发者以编程方式执行索引、搜索、更新和删除等操作。常见的Elasticsearch客户端包括： - **Jest**：一个轻量级的Java REST...
数据聚合的艺术：如何在 Elasticsearch 中使用聚合？
07-18
### 数据聚合的艺术：深入解析 Elasticsearch 中的聚合技术 Elasticsearch 作为一个强大的搜索与分析引擎，在处理海量数据方面表现出色。其内置的聚合功能更是数据分析领域的重要工具之一。本篇文章将详细探讨 ...
数据可视化 数据多维度检索 多维度统计
qq_43504447的博客
01-11 1305
后续功能实现完整后会记录下来 采用es + vue + echarts来实现
【ES小结】还在用ElasticSearch做查询？换条思路实现高效数据统计
派大星的博客
08-16 4056
聚合是ES除搜索功能外提供的针对ES数据做统计分析的功能，聚合有助于根据搜索查询提供聚合数据，聚合查询是数据库中重要额功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析功能力，它是基于查询条件来对数据进行分桶、计算的方法，这种很类似与SQL中的group by再加上一些函数方法的操作。在了解聚合查询之前需要注意的一点是：text类型是不支持聚合的，主要是因为text类型本身是分词的，通俗的说，如果一句话分成了多个词然后进行group by操作，那么问题就出现了，到底对哪一个词进行。...
es聚合统计查询
talen_hx的博客
01-15 1453
#基数统计 GET kibana_sample_data_ecommerce/_search { "size": 0, "aggs": { "customer_id_card": { "cardinality": { "field": "customer_id", "precision_threshold": 80 } } } } #字段数量统计 GET kibana_sample_data_ecommerce/_sea...
es 统计查询
热门推荐
朝花夕拾
03-17 1万+
{ "size": 0, "aggs": { "xxxxxx": { "date_histogram": { "field": "createdAt", "interval": "day", "format": "yyyy-MM-dd"
Elasticsearch(简称ES)实现日报表、月报表、年报表统计，没数据补0
JRocks的博客
02-18 7543
前言： 这是1张相对简单些报表示例，用sql语句也能实现，但主要是为了便于大家理解ES聚合实现报表的使用方法。 之前写过"java实现日报表、月报表统计，没数据补0"文章，https://blog.csdn.net/JRocks/article/details/113841913，方法是用sql语句查询数据库得到结果，然后通过java代码实现日期无数据自动补0，这种方法是非常简单方便。 但也有弊端，如有些数据展示用sql语句关联查询非常麻烦并且效率低下、或者说是sql语句实现不了、又或者sql+java代码
统计多维数组php_php统计多维数组的元素个数
weixin_34229578的博客
03-09 793
一般情况下，使用count可以直接统计数组的元素个数$arr = ['a','b',];echo count($arr);//2但是遇到二位数组的时候，我们想统计第二层的元素个数，这个时候可以使用count函数的第二个参数，count($arr, $mode = 0);$mode(0：统计一维的所有元素，1：循环统计遍历元素)在$mode=1的时候，count函数会循环统计元素的个数，如果元素$a...
ElasticSearch的搭建与数据统计
路漫漫其修远兮
05-27 5161
　平台内的产品有一个数据分析，统计平台内某个商户某个时间段内（今天、昨天、7天内、30天内……）的各种数据分析，这种分析显然用MySql的count、sum、GroupBy之类的去查询是很不靠谱的，尤其是在数据量很大的情况下效率就不言而喻了，本来想着用HBase的MR来做，或者直接把各纬度的数据通过HADOOP的MR处理完存到HBase里面，后来与朋友聊天后被朋友严重鄙视了一顿，鄙视的内容基本是嫌...
ES SQL使用说明文档
weixin_30244889的博客
06-17 3314
ES SQL使用说明文档 一、Elasticsearch术语介绍 l 接近实时（NRT）： Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个很小的延迟，包括如果做了集群的话，集群中的各个节点数据同步也是接近实时的。 l 集群（cluster）： 一组拥有共同的 cluster name 的节点。 l 节点（node）： ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码农叔叔

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值