对比mongodb查询的执行计划，说一说组合索引的优化方案（上）

于 2024-05-01 07:00:00 发布
阅读量323 收藏 26
点赞数 17
文章标签： mongodb 数据库 java spring boot 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuganlai168/article/details/138349886
版权

一、背景

Mongodb数据库，有个160w数据量规模的集合，字段多达几十个，随着需求的迭代，查询条件也是五花八门。
为了提高某个查询的效率，结果都以新增索引解决问题，最后多达16个索引。
在这里插入图片描述
这里仅贴出本文会提及的索引，可以看到，都是组合索引。

且不说索引越多，更新记录的时候会越耗时，查询想要匹配索引的时候却找不到想要的索引。

主要的害处是，一个查询语句不知道将会匹配哪个索引，既有单个索引，又有许多类似的组合索引。

本文主要是由一个慢查询语句抛出问题，先分析执行计划，然后给出优化建议。

二、定义mongodb集合和索引

字段名类型描述示例
createdOnDate创建时间ISODate(“2024-04-28T00:00:00.000Z”)
classroomNameString名称英语期末考前复习课程
creatorNameString创建者名称张三
totalIdsList人员集合[10001,10002,10003]
isDeleteBoolean是否逻辑删除true/false
recycleint回收标记0-未回收，1-已回收
authint公开标记0-否，1-是

前后定义了16个索引，这里列出本文会涉及到的三个索引。

  • createdOn_1_auth_1_isDelete_1_recycle_1_creatorName_1
  • totalIds_1_isDelete_1_recycle_1_creatorName_1
  • totalIds_1_createdOn_2

三、慢查询分析

从阿里云Mongodb的慢日志，找到是哪个慢语句。
在这里插入图片描述

找到command命令，见下：

{"$and":[{"$and":[{"$and":[{"isDelete":false},
{"$or":[{"auth":1},{"totalIds":{"$in":[10001]}}]},
{"$or":[{"recycle":null},{"recycle":0}]}],
"classroomName":{"$regex":".*大口加小口.*","$options":""}},
{"createdOn":{"$gte":{"$date":"2023-04-29T00:00:00.000+0800"}}}]},
{"createdOn":{"$lte":{"$date":"2024-04-30T00:00:00.000+0800"}}}]},

"projection":{"$sortKey":{"$meta":"sortKey"}},
"sort":{"createdOn":-1},
"limit":{"$numberLong":"20"}

解析下这个查询语句的业务需求：

用户10001查询近一年的公开课或自己的课程，查询条件是课程名称正则匹配。（另外必须是未删除且未被放入回收站的课程）

1、真实的查询语句

db.{集合名}.find(
  {
    "$and": [
      {
        "$and": [
          { "isDelete": false },
          {
            "$or": [
              { "auth": 1 },
              { "totalIds": { "$in": [10001] } }
            ]
          },
          {
            "$or": [
              { "recycle": null },
              { "recycle": 0 }
            ]
          },
          {
            "classroomName": { "$regex": ".*大口加小口.*", "$options": "" }
          },
          {
            "createdOn": {
              "$gte": ISODate("2023-04-29T00:00:00.000Z")
            }
          }
        ]
      },
      {
        "createdOn": {
          "$lte": ISODate("2024-04-30T00:00:00.000Z")
        }
      }
    ]
  },
  {
    "$sortKey": { "$meta": "sortKey" }
  }
).sort({ "createdOn": -1 }).limit(20);

2、执行计划

db.{集合名}.explain().find{…} 得到上面语句的执行计划。

在这里插入图片描述- parsedQuery ：被解析的查询语句（不包括分页和排序）

  • winningPlan：选择的执行计划
  • rejectedPlans：被拒的执行计划
  • executionStats：执行分析（重点）

下面重点看executionStats部分：

由内到外的步骤分别是： IXSCAN -> FETCH -> SORT_KEY_GENERATOR -> PROJECTION -> LIMIT -> SINGLE_SHARD。

'executionStats': {
     'nReturned': 20,
     'executionTimeMillis': 3222,
     'totalKeysExamined': 132375,
     'totalDocsExamined': 131245,
     'executionStages': {
         'stage': "SINGLE_SHARD",
         'nReturned': 20,
         'executionTimeMillis': 3222,
         'totalKeysExamined': 132375,
         'totalDocsExamined': 131245,
         'totalChildMillis': NumberLong("3219"),
         'shards': [
             {
                 'shardName': "d-bp1cef3c8241a8a4",
                 'executionSuccess': true,
                 'executionStages': {
                     'stage': "LIMIT",
                     'nReturned': 20,
                     'executionTimeMillisEstimate': 684,
                     'works': 132377,
                     'advanced': 20,
                     'needTime': 132356,
                     'needYield': 0,
                     'saveState': 6205,
                     'restoreState': 6205,
                     'isEOF': 1,
                     'invalidates': 0,
                     'limitAmount': 20,
                     'inputStage': {
                         'stage': "PROJECTION",
                         'nReturned': 20,
                         'executionTimeMillisEstimate': 678,
                         'works': 132376,
                         'advanced': 20,
                         'needTime': 132356,
                         'needYield': 0,
                         'saveState': 6205,
                         'restoreState': 6205,
                         'isEOF': 0,
                         'invalidates': 0,
                         'transformBy': {
                             '$sortKey': {
                                 '$meta': "sortKey"
                             }
                         },
                         'inputStage': {
                             'stage': "SORT_KEY_GENERATOR",
                             'nReturned': 20,
                             'executionTimeMillisEstimate': 675,
                             // 略
                             'inputStage': {
                                 'stage': "FETCH",
                                 'filter': {
                                     // 略
                                 },
                                 'nReturned': 20,
                                 'executionTimeMillisEstimate': 672,
                                 // 略
                                 'inputStage': {
                                     'stage': "IXSCAN",
                                     'nReturned': 131245,
                                     'executionTimeMillisEstimate': 89,
                                     // 略
                                 }
                             }
                         }
                     }
                 }
             }
         ]
     }
 }

下面从内到外看其步骤：

  • IXSCAN

IXSCAN/索引扫描，因为createdOn匹配到索引createdOn_1_auth_1_isDelete_1_recycle_1_creatorName_1，返回记录数为132375。同时，也可以看到它的耗时在几个阶段中，还算是比较快的–89毫秒。

'stage': "IXSCAN",
'nReturned': 131245,
'executionTimeMillisEstimate': 89,
'works': 132375,
'advanced': 131245,
'needTime': 1130,
'needYield': 0,
'saveState': 6205,
'restoreState': 6205,
'isEOF': 0,
'invalidates': 0,
'keyPattern': {
    'createdOn': 1.0,
    'auth': 1.0,
    'isDelete': 1.0,
    'recycle': 1.0,
    'creatorName': 1.0
},
'indexName': "createdOn_1_auth_1_isDelete_1_recycle_1_creatorName_1",
'isMultiKey': false,
'multiKeyPaths': {
    'createdOn': [
    ],
    'auth': [
    ],
    'isDelete': [
    ],
    'recycle': [
    ],
    'creatorName': [
    ]
},
'isUnique': false,
'isSparse': false,
'isPartial': false,
'indexVersion': 2,
'direction': "backward", // 倒序查询
'indexBounds': {
    'createdOn': [
        "[new Date(1714348800000), new Date(1682640000000)]"
    ],
    'auth': [
        "[MaxKey, MinKey]"
    ],
    'isDelete': [
        "[false, false]"
    ],
    'recycle': [
        "[MaxKey, MinKey]"
    ],
    'creatorName': [
        "[MaxKey, MinKey]"
    ]
},
'keysExamined': 132375,
'seeks': 1131,
'dupsTested': 0,
'dupsDropped': 0,
'seenInvalidated': 0
  • FETCH

根据索引检索指定的文档，上一步是对查询条件createdOn、isDelete和recycle进行检索。FETCH则是基于索引数据进行再次检索，条件是两个or查询条件和classroomName模糊查找。

  'stage': "FETCH",
  'filter': {
      '$and': [
          {
              '$or': [
                  {
                      'auth': {
                          '$eq': 1
                      }
                  },
                  {
                      'totalIds': {
                          '$eq': 10001
                      }
                  }
              ]
          },
          {
              '$or': [
                  {
                      'recycle': {
                          '$eq': null
                      }
                  },
                  {
                      'recycle': {
                          '$eq': 0
                      }
                  }
              ]
          },
          {
              'classroomName': {
                  '$regex': ".*大口加小口.*"
              }
          }
      ]
  },
  'nReturned': 20,
  'executionTimeMillisEstimate': 672,
  'works': 132375,
  'advanced': 20,
  'needTime': 132355,
  'needYield': 0,
  'saveState': 6205,
  'restoreState': 6205,
  'isEOF': 0,
  'invalidates': 0,
  'docsExamined': 131245,
  'alreadyHasObj': 0,
  'inputStage': {
      'stage': "IXSCAN",
      'nReturned': 131245,
      'executionTimeMillisEstimate': 89,
      // 略
  }
  • SORT_KEY_GENERATOR

返回20条数据，耗时675毫秒，所以说排序很耗时，从这里也可以看到了。它对13万多条数据进行排序，最后得到想要的20条记录，花费的时间堪比上一步FETCH了。

'stage': "SORT_KEY_GENERATOR",
'nReturned': 20,
'executionTimeMillisEstimate': 675,
'works': 132376,
'advanced': 20,
'needTime': 132356,
'needYield': 0,
'saveState': 6205,
'restoreState': 6205,
'isEOF': 0,
'invalidates': 0,
'inputStage': {
    'stage': "FETCH",
    'filter': {
        // 略
    },
    'nReturned': 20,
    'executionTimeMillisEstimate': 672,
    // 略
    'inputStage': {
        'stage': "IXSCAN",
        'nReturned': 131245,
        'executionTimeMillisEstimate': 89,
        // 略
    }
}
}

其他stage就不继续往后展开了，这里总结一下，这个查询语句虽然匹配了索引，但是因为是近一年的时间区间，匹配到的索引，但数据量也很大，导致最后查询慢。

是什么原因导致没有匹配另外的索引 totalIds_1_isDelete_1_recycle_1_creatorName_1 呢？
我们后面专门为此建立的组合索引 totalIds_1_createdOn_2 也是没有被匹配上。

这主要是因为totalIds查询条件是在or里面，见下：
在这里插入图片描述

如果我们想要对totalIds使用上索引，这也提醒我们在平常编程的时候，不能放在or查询条件里。

下一篇文章，我们将对查询条件进行调整，试着匹配包含totalIds字段的组合索引。

四、总结

本文对线上出现的一个mongodb慢查询，分析了其执行计划，也让我们知道了，要提高查询效率，不仅要求匹配索引，还要考虑排序可能带来的性能消耗。

但是，按创建时间进行排序展示数据，作为普遍的一个业务需求，我们不能在jvm内存里排序，所以不仅要对创建时间建立组合索引，更要把它放在组合索引的末尾。

天草二十六_简村人
关注
  • 17
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
MongoDB --- 索引与执行计划
编码爱好者
09-26 474
交叉索引就是针对每个字段单独建立一个单字段索引，然后在查询执行时候使用相应的单字段索引进行索引交叉而得到查询结果。交叉索引目前触发率较低，所以如果你有一个多字段查询的时候，建议使用复合索引能够保证索引正常的使用。is_detail：可选参数，传入除0或false外的任意数据，都会显示该集合中每个索引的大小及总大小。默认值为false。如果你的查询会使用到多个字段，MongoDB有两个索引技术可以使用：交叉索引和复合索引。Key 值为你要创建的索引字段，1 按升序创建索引， -1 按降序创建索引。
MongoDB的索引与执行计划
我能在河边钓一整天的鱼
03-17 224
目录 索引 执行计划 索引 索引通常能够极大的提高查询的效率，如果没有索引，MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。 索引是特殊的数据结构，索引存储在一个易于遍历读取的数据集合中，索引是对数据库表中一列或多列的值进行...
mongodb索引和执行计划
bboy66的博客
09-09 549
mongodb索引讲解
MongoDB学习---MongoDB的执行计划
qq_39314972的博客
01-11 1489
MongoDB学习—MongoDB的执行计划 1.explain()接收不同的参数 queryPlanner：queryPlanner是默认参数，具体执行计划信息参考下面的表格。 executionStats：executionStats会返回执行计划的一些统计信息(有些版本中和allPlansExecution等同)。 allPlansExecution:allPlansExecution用来获取所有执行计划，结果参数基本与上文相同。 2.MongoDB慢查询分析 开启内置的查询分析器,记录读写
MongoDB性能篇之创建索引，组合索引，唯一索引，删除索引和explain执行计划
09-10
本篇将深入探讨MongoDB中的索引创建、组合索引、唯一索引、删除索引以及`explain`执行计划。 1. **基础索引** MongoDB在创建集合时，默认为`_id`字段创建一个唯一的升序索引，这是无法删除的。创建其他索引，例如...
Mongodb索引的优化
12-15
MongoDB 提供了`explain()`方法，允许我们查看查询的执行计划，了解系统如何利用索引来优化查询。关键字段包括： - `cursor`: 游标类型，如`BtreeCursor`表示使用了索引。 - `nscanned`: 扫描的文档数量。 - `n`: ...
MongoDB查询性能优化验证及验证
01-19
mongodb查询和排序的性能理想，无正则时client可以在600ms+完成查询，qps300+。有正则时client可以在1300ms+完成查询，qps140+。 2、 Mongodb的count性能比较差，非并发情况下client可以在330ms完成查询，在并发情况...
mongodb之慢查询分析
weixin_34174105的博客
10-22 1735
0 摘要 在MySQL中，慢查询日志是经常作为我们优化查询的依据，那在MongoDB中是否有类似的功能呢？答案是肯定的，那就是开启Profiling功能。该工具在运行的实例上收集有关MongoDB的写操作，游标，数据库命令等，可以在数据库级别开启该工具，也可以在实例级别开启。该工具会把收集到的所有都写入到system.profile集合中，该集合是一个capped c...
MongoDB索引操作和执行计划Explain()详解
最新发布
harlan的博客
08-11 1767
Mongodb索引创建查看删除，Mongodb执行计划explain()说明和使用。
9.MongoDB之explain(执行计划分析)
mijichui2153的博客
04-15 1万+
对executionStats返回逐层分析 第一层，executionTimeMillis 最为直观explain返回值是executionTimeMillis值，指的是我们这条语句的执行时间，这个值当然是希望越少越好。 其中有3个executionTimeMillis，分别是： executionStats.executionTimeMillis 该query的整体查询时间。 executionStats.executionStages.exec...
3.MongoDB创建索引及执行计划查看
weixin_43346403的博客
03-02 571
MongoDB单键索引
MongoDB执行计划
今非昨的专栏
08-20 1887
一 概念　　在关系型数据库中无论哪种数据库，都提供了SQL剖析工具，用来解决SQL低下的问题。在MongoDB中，也有相应的策略来实现剖析。mongoDB系统了explain()方法，用来查看其执行计划和其统计信息。二 explain三种模式1、queryPlanner　　queryPlanner是explain的默认模式，queryPlanner模式下并不会去真正进行操作语句的执行，而是针对que
MongoDB查看执行计划
weixin_33696106的博客
11-30 524
MongoDB中的explain()函数可以帮助我们查看查询相关的信息，这有助于我们快速查找到搜索瓶颈进而解决它，本文我们就来看看explain()的一些用法及其查询结果的含义。 本文是MongoDB系列的第八篇文章，了解前面的文章有助于更好的理解本文： 1.Linux上安装MongoDB 2.MongoDB基本操作 3.Mon...
MongoDB执行计划获取(db.collection.explain())
热门推荐
乐沙弥的世界
12-08 2万+
在RDBMS中，无论那种数据库，都提供了SQL剖析工具，用来解决SQL效率低下的问题。在MongoDB中，也有相应的策略来实现剖析。MongoDB提供了db.collection.explain()方法, cursor.explain()方法, 和explain命令去返回查询计划信息和查询计划的执行统计信息。这为我们诊断查询提供了极大的便利，本文主要描述db.collection.explain()
MongoDB聚合操作实战
沮丧的南瓜
09-10 581
文章目录一、MongoDB聚合操作1、聚合表达式获取字段信息常量表达式系统变量表达式2、聚合管道阶段3、实战聚合管道操作$project$match$limit$skip$unwind$sort$lookup$group$addToSet$avg$push$out4、管道优化 一、MongoDB聚合操作 MongoDB聚合框架是一个计算框架作用在一个或几个集合对集合中的数据进行一系列运算将这些数据转化为期望的形式。 如： 现在有一组数据： db.orders.insertMany( [ { zip:"00
MongoDB执行计划分析详解
weixin_38932035的博客
03-28 1297
https://mongoing.com/eshu_explain1
深入学习MongoDB之索引与执行计划
胃小的博客
07-14 1293
mongodb索引创建索引:db.getCollection("test").ensureIndex({"name":1});或者db.getCollection("test").createIndex({"name":1});{    "raw" : {        "shard3/192.168.3.18:20004,192.168.3.3:10004" : {           
mongodb基础篇--explain执行计划
兴国-为梦想而战
12-07 6541
文章目录queryPlannerexecutionStatsallPlansExecutionstage状态 我们可以通过执行计划来判断查询语句的效率，根据实际情况进行调整，然后提高查询效率。 可以使用如下方法： db.collection.find().explain(<verbose>) verbose 参数表示执行计划的输出模式。有三种:queryPlanner,executi...
MongoDB深度探索：聚合操作与索引优化实战
使用`explain()`方法可以分析查询执行计划，了解是否有效利用了索引。覆盖索引是指查询可以仅使用索引来完成，无需回表获取原始文档，这通常能进一步提高性能。最佳实践包括为查询过滤条件和排序字段建立索引，避免...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天草二十六_简村人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值