理解elasticsearch的match_phrase_prefix查询

最新推荐文章于 2024-09-06 20:13:44 发布

自东向西

最新推荐文章于 2024-09-06 20:13:44 发布

阅读量8.1k

点赞数 5

分类专栏： Elasticsearch

本文链接：https://blog.csdn.net/zidongxiangxi/article/details/111957568

版权

Elasticsearch 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

match_phrase

match_phrase_prefix可以认为是match_phrase的增强版本，所以先了解一下match_phrase。

match_phrase词组匹配会先解析检索词，并且标注出每个的token相对位置，搜索匹配的字段的必须包含所有的检索词的token，并且他们的相对位置也要和检索词里面相同。

在《系统学习ElasticSearch》中，有很好的例子：

# DSL语句
GET /tehero_index/_doc/_search
{
  "query":{
    "match_phrase":{
      "content.ik_smart_analyzer":"系统编程"
    }
  }

DSL执行步骤分析：

1）检索词“系统编程”被分词为两个Token【系统，Position=0】【编程，Position=1】；
2）倒排索引检索时，等价于sql：【where Token = 系统 and 系统_Position=0 and Token = 编程 and 编程_Position=1】；

如果我们不要求这两个单词相邻，希望放松一点条件，可以添加slop参数，slop代表两个token之间相隔的最多的距离（最多需要移动多少次才能相邻）。

match_phrase_prefix

与match_phrase查询类似，但是会对最后一个Token在倒排序索引列表中进行通配符搜索。

# DSL语句
GET /tehero_index/_doc/_search
{
  "query":{
    "match_phrase":{
      "content.ik_smart_analyzer":"我编程系"
    }
  }

这个分词的结果会是“我”、“编程”、“系”。
“我”和“编程”是精确匹配，“系”是前缀匹配，等价于sql：【where Token = ‘我’ and 我_Position=0 and Token = ‘编程’ and 编程_Position=1 and (Token_Position=2 and Token like ‘系%’)】

需要注意的点

elasticsearch的官网文档上，有match_phrase_prefix的完整参数结构：
在这里插入图片描述
query，查询的关键字
analyer，对关键字使用的分词器
max_expansions，最后一个term做前缀匹配时的最大拓展数，默认是50
slop，与match_phrase的slop相同，允许term之间的最大间隔
zero_terms_query，经过analyer解析后，没有任何term时，不返回数据，还是返回全部数据。默认返回全部数据。

max_expansions是非常重要的一个参数，需要留意下，不然很容易出现与我们期望不符合的情况。

在工作中，我试过使用match_phrase_prefix来匹配手机号，但是出现了一些奇怪的现象：

测试的手机号是“123454688885555”，使用match_phrase_prefix，关键字是“12345”来查询指定租户下的数据，没有返回任何文档。
把关键字换成“1234546”，正确返回了对应的文档。

为什么会这样呢？为什么12345就不返回，1234546就返回了？
个人是这样觉得的：

手机号虽然存在es中是字符串，但是字符串的内容是数字，分词器并不会对它进行分词，也就是一个手机号就是一个term
在测试数据中，数据有5000条，每条数据的手机号码都是不一样的，也就是说，手机号这样的term有5000个。
max_expansions默认是50，也就是说，会把12345拓展出以12345为开头的额外50个term，例如123456、1234546、123456898…
最后将拓展出来的term也用于查询

为什么我会认为是这样的过程呢？
elasticsearch除了会构建倒排索引之外，还会在所有的term构建一个term dictionary （词典）和term index（词索引，印象是跳跃表结构），帮助查找。
当出现前缀匹配的时候，可以在term index和term dictionary中快速找到对应开通的term。
根据max_expansions的值，拿到指定个数的term。
12345查不到数据，1234546能查找，明显是1234546更精确，1234546拓展出来的term中包含了那个完整的手机号码123454688885555。

在查询这个参数相关的文章的时候，发现：

有的人认为这个数值是值通配符，值是50，就能模糊匹配多关键字之后50的字符的term。
有的人认为这个数值是匹配的文档数，值是50，则匹配50个文档，返回这50个文档中命中的部分。
这都是不对的，明显与手机号的实验不符。
《系统学习ElasticSearch》中对max_expansions的描述就像是占位符…

参考资料：
系统学习ElasticSearch
十九种Elasticsearch字符串搜索方式终极介绍
 官方文档