Elasticsearch-19.自动补全与基于上下文的提示与跨集群搜索和跨集群搜索

Elasticsearch

自动补全与基于上下文的提示

The Completion Suggester

  • Completion Suggester提供了“自动完成”(Auto Complete)的功能。用户每输入一个
    字符,就需要即时发送一个查询请求到后段查找匹配项
  • 对性能要 求比较苛刻。Elasticsearch 采用了不同的数据结构,并非通过倒排索弓|来完成。
    而是将Analyze的数据编码成FST和索引一起存放。FST会被ES整个加载进内存,
    速度很快
  • FST只能用于前缀查找

使用Completion Suggester的一些步骤

在这里插入图片描述

索引数据

在这里插入图片描述

搜索数据在这里插入图片描述

什么是Context Suggester

  • Completion Suggester的扩展
  • 可以在搜索中加入更多的上下文信息,例如,输入“star”
    • 咖啡相关: 建议“Starbucks’
    • 电影相关: “star wars” .

实现Context Suggester

  • 可以定 义两种类型的Context

    • Category 一任意的字符串
    • Geo一地理位置信息
  • 实现 Context Suggester的具体步骤

    • 定制一个 Mapping
    • 索引数据,并且为每个文档加入Context信息
    • 结合Context进行Suggestion查询

定义Mapping

在这里插入图片描述

索引数据

在这里插入图片描述

不同的上下文,自动提示

在这里插入图片描述

精准度和召回率

  • 精准度
    • Completion > Phrase > Term
  • 召回率
    • Term > Phrase > Completion
  • 性能
    • Completion > Phrase > Term

API

DELETE articles
PUT articles
{
  "mappings": {
    "properties": {
      "title_completion":{
        "type": "completion"
      }
    }
  }
}

POST articles/_bulk
{ "index" : { } }
{ "title_completion": "lucene is very cool"}
{ "index" : { } }
{ "title_completion": "Elasticsearch builds on top of lucene"}
{ "index" : { } }
{ "title_completion": "Elasticsearch rocks"}
{ "index" : { } }
{ "title_completion": "elastic is the company behind ELK stack"}
{ "index" : { } }
{ "title_completion": "Elk stack rocks"}
{ "index" : {} }


POST articles/_search?pretty
{
  "size": 0,
  "suggest": {
    "article-suggester": {
      "prefix": "elk ",
      "completion": {
        "field": "title_completion"
      }
    }
  }
}


DELETE comments
PUT comments
PUT comments/_mapping
{
  "properties": {
    "comment_autocomplete":{
      "type": "completion",
      "contexts":[{
        "type":"category",
        "name":"comment_category"
      }]
    }
  }
}

POST comments/_doc
{
  "comment":"I love the star war movies",
  "comment_autocomplete":{
    "input":["star wars"],
    "contexts":{
      "comment_category":"movies"
    }
  }
}

POST comments/_doc
{
  "comment":"Where can I find a Starbucks",
  "comment_autocomplete":{
    "input":["starbucks"],
    "contexts":{
      "comment_category":"coffee"
    }
  }
}


POST comments/_search
{
  "suggest": {
    "MY_SUGGESTION": {
      "prefix": "sta",
      "completion":{
        "field":"comment_autocomplete",
        "contexts":{
          "comment_category":"coffee"
        }
      }
    }
  }
}

本节知识点回顾

  • Completion Suggester,对性能要求比较苛刻。采用了不同的数据结构,并非通过倒排
    索引来完成。而是将Analyze的数据编码成FST和索引一起存放。FST会被ES整个
    加载进内存,速度很快
  • 需 要设置特定的Mapping
  • Context Completion Suggester支持结合不同的上下文,给出推荐.

跨集群搜索

水平扩展的痛点

  • 单集群一 当水平扩展时,节点数不能无限增加

    • 当集群的meta信息(节点, 索引,集群状态)过多,会导致更新压力变大,单
      个Active Master会成为性能瓶颈,导致整个集群无法正常工作
  • 早期版本, 通过Tribe Node可以实现多集群访问的需求,但是还存在-定的问题

    • Tribe Node会以Client Node的方式加入每个集群。集 群中Master节点的任
      务变更需要Tribe Node的回应才能继续
    • Tribe Node不保存Cluster State信息,一旦重启,初始化很慢
    • 当多个 集群存在索引重名的情况时,只能设置一种Prefer规则

跨集群搜索- Cross Cluster Search

  • 早期 Tribe Node的方案存在- -定的问题,现已被Deprecated
  • Elasticsearch 5.3引入了跨集群搜索的功能(Cross Cluster Search),推荐使用
    • 允许任何节点扮演federated节点,以轻量的方式,将搜索请求进行代理
    • 不需要以 Client Node的形式加入其他集群

配置及查询

在这里插入图片描述

知识点回顾

  • 当集群无法水平扩展,或者需要将不同的集群数据实现数据的Federation,可以采用跨
    集群搜索(CCS)

  • Tribe Node和Cross Cluster Search的比较,推荐在新版本中使用CCS

  • 如何配置并 使用Cross Cluster Search查询数据

API

//启动3个集群

bin/elasticsearch -E node.name=cluster0node -E cluster.name=cluster0 -E path.data=cluster0_data -E discovery.type=single-node -E http.port=9200 -E transport.port=9300
bin/elasticsearch -E node.name=cluster1node -E cluster.name=cluster1 -E path.data=cluster1_data -E discovery.type=single-node -E http.port=9201 -E transport.port=9301
bin/elasticsearch -E node.name=cluster2node -E cluster.name=cluster2 -E path.data=cluster2_data -E discovery.type=single-node -E http.port=9202 -E transport.port=9302


//在每个集群上设置动态的设置
PUT _cluster/settings
{
  "persistent": {
    "cluster": {
      "remote": {
        "cluster0": {
          "seeds": [
            "127.0.0.1:9300"
          ],
          "transport.ping_schedule": "30s"
        },
        "cluster1": {
          "seeds": [
            "127.0.0.1:9301"
          ],
          "transport.compress": true,
          "skip_unavailable": true
        },
        "cluster2": {
          "seeds": [
            "127.0.0.1:9302"
          ]
        }
      }
    }
  }
}

#cURL
curl -XPUT "http://localhost:9200/_cluster/settings" -H 'Content-Type: application/json' -d'
{"persistent":{"cluster":{"remote":{"cluster0":{"seeds":["127.0.0.1:9300"],"transport.ping_schedule":"30s"},"cluster1":{"seeds":["127.0.0.1:9301"],"transport.compress":true,"skip_unavailable":true},"cluster2":{"seeds":["127.0.0.1:9302"]}}}}}'

curl -XPUT "http://localhost:9201/_cluster/settings" -H 'Content-Type: application/json' -d'
{"persistent":{"cluster":{"remote":{"cluster0":{"seeds":["127.0.0.1:9300"],"transport.ping_schedule":"30s"},"cluster1":{"seeds":["127.0.0.1:9301"],"transport.compress":true,"skip_unavailable":true},"cluster2":{"seeds":["127.0.0.1:9302"]}}}}}'

curl -XPUT "http://localhost:9202/_cluster/settings" -H 'Content-Type: application/json' -d'
{"persistent":{"cluster":{"remote":{"cluster0":{"seeds":["127.0.0.1:9300"],"transport.ping_schedule":"30s"},"cluster1":{"seeds":["127.0.0.1:9301"],"transport.compress":true,"skip_unavailable":true},"cluster2":{"seeds":["127.0.0.1:9302"]}}}}}'


#创建测试数据
curl -XPOST "http://localhost:9200/users/_doc" -H 'Content-Type: application/json' -d'
{"name":"user1","age":10}'

curl -XPOST "http://localhost:9201/users/_doc" -H 'Content-Type: application/json' -d'
{"name":"user2","age":20}'

curl -XPOST "http://localhost:9202/users/_doc" -H 'Content-Type: application/json' -d'
{"name":"user3","age":30}'


#查询
GET /users,cluster1:users,cluster2:users/_search
{
  "query": {
    "range": {
      "age": {
        "gte": 20,
        "lte": 40
      }
    }
  }
}

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
elasticsearch-7.12.0-py2.py3-none-any.whl 是 Elasticsearch 的 Python 客户端库的一个安装文件。Elasticsearch 是一个开源的实时分布式搜索和分析引擎,用于处理大规模数据集。它提供了一个简单可扩展的 RESTful API 接口,允许用户进行高效的数据搜索、分析以及存储。 这个安装文件的命名规则是根据 Python 的支持版本以及可运行平台来命名的。-py2.py3 表示可以同时兼容 Python 2 和 Python 3 版本的代码。-none-any 表示它是一个纯 Python 代码的库,不依赖于特定的操作系统或平台。 通过安装 elasticsearch-7.12.0-py2.py3-none-any.whl,您可以轻松地在您的 Python 环境中使用 Elasticsearch。这个库提供了许多功能,包括连接到 Elasticsearch 实例、执行索引、搜索和分析操作,以及管理和维护 Elasticsearch集群和节点。您可以使用这个库来构建各种应用,如全文搜索引擎、实时日志分析等。 要安装 elasticsearch-7.12.0-py2.py3-none-any.whl,您可以使用 pip 工具,在命令行中运行以下命令: ``` pip install elasticsearch-7.12.0-py2.py3-none-any.whl ``` 安装成功后,您就可以在您的 Python 代码中导入 elasticsearch 模块,并开始使用 Elasticsearch 的功能了。 总结:elasticsearch-7.12.0-py2.py3-none-any.whl 是 Elasticsearch 的 Python 客户端库的安装文件,用于连接、操作和管理 Elasticsearch 实例。通过安装这个库,您可以在您的 Python 项目中轻松使用 Elasticsearch 的功能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值