Elasticsearch基本概念

最新推荐文章于 2024-11-06 11:47:40 发布
最新推荐文章于 2024-11-06 11:47:40 发布
阅读量352 收藏
点赞数
分类专栏： ElasticSearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zkq_1986/article/details/51994070
版权

1 Apache Lucene 相似度评分

lucence相似度评分公式：
lucence相似度评分公式

es除了使用上面的默认公式外，还允许用户自定义评分规则。

2 查询重写(query rewrite)

es会对模糊查询（前缀匹配、通配符匹配）进行重写，以提高查询效率。看一下例子。
假设有以下文档

curl -XPUT 'localhost:9200/clients/client/1' -d '
{
"id":"1", "name":"Joe"
}'
curl -XPUT 'localhost:9200/clients/client/2' -d '
{
"id":"2", "name":"Jane"
}'
curl -XPUT 'localhost:9200/clients/client/3' -d '
{
"id":"3", "name":"Jack"
}'
curl -XPUT 'localhost:9200/clients/client/4' -d '
{
"id":"4", "name":"Rob"
}'
curl -XPUT 'localhost:9200/clients/client/5' -d '
{
"id":"5", "name":"Jannet"
}'

进行前缀j查询：

curl -XGET 'localhost:9200/clients/_search?pretty' -d '{
    "query" : {
        "prefix" : {
            "name" : {
                "value":"j",
                "rewrite" : "constant_score_boolean"
            }
        }
    }
}'

将会得到以下结果：

{
...
"hits" : {
"total" : 4,
"max_score" : 1.0,
"hits" : [ {
"_index" : "clients",
"_type" : "client",
"_id" : "5",
"_score" : 1.0, "_source" : {"id":"5", "name":"Jannet"}
}, {
"_index" : "clients",
"_type" : "client",
"_id" : "1",
"_score" : 1.0, "_source" : {"id":"1", "name":"Joe"}
}, {
"_index" : "clients",
"_type" : "client",
"_id" : "2",
"_score" : 1.0, "_source" : {"id":"2", "name":"Jane"}
}, {
"_index" : "clients",
"_type" : "client",
"_id" : "3",
"_score" : 1.0, "_source" : {"id":"3", "name":"Jack"}
} ]
}
}

这里写图片描述
在以上的例子中，是查询name中以j为前缀的所有记录，它重写的过程是这样的：搜索索引表（如上），把相应的模糊查询变成一下形式：
这里写图片描述
此时，es就会拆分成3个查询分别进行匹配。这种重写的形式，在不同关键词多的索引中效果更明显。

3 概念

Gateway

Gateway存放集群状态、索引配置等信息。

DSL

displine special language 领域专用语言（JSON based
language for building complex queries）。

索引

索引仅在主分片上进行。

mapping

ES的mapping非常类似于静态语言中的数据类型：声明一个变量为int类型的变量， 以后这个变量都只能存储int类型的数据。同样的，一个number类型的mapping字段只能存储number类型的数据。

同语言的数据类型相比，mapping还有一些其他的含义，mapping不仅告诉ES一个field中是什么类型的值， 它还告诉ES如何索引数据以及数据是否能被搜索到。

当你的查询没有返回相应的数据， 你的mapping很有可能有问题。当你拿不准的时候， 直接检查你的mapping。

curl -XGET 'localhost:9200/clients/client/_mapping?pretty'

ES能非常聪明的识别出”name”和”description”字段的类型是string， ES默认会创建以下的mapping。

4 排序（Sorting data）

es默认情况是按文档得分排序。当然它允许我们自定义排序规则。排序主要涉及单字段单个值、单字段多个值、嵌套对象三种类型的排序方式。
1. 单字段单个值

{
    "query" : {
        "terms" : {
            "title" : [ "crime", "front", "punishment" ],
                "minimum_match" : 1
                }
    },
    "sort" : [
        { "section" : "desc" }
    ]
}

{ “section” : “desc” }表示通过section字段降序排列。
“minimum_match” : 1表示[“crime”, “front”, “punishment” ]3个里面至少要匹配一个。

2. 单字段多个值
单字段多个值的情况涉及部分场景，例如电影在不同国家的首映时间、部门分部的坐落位置等。
下述例子表示以release_dates字段中最小的那个值进行升序排列。

{
    "query" : {
        "match_all" : {}
    },
    "sort" : [
    {"release_dates" : { "order" : "asc", "mode" : "min" }}
    ]
}

再来看一个地理位置为多个值的例子。
有如下的映射(mappings)结构

{
    "mappings": {
        "poi": {
            "properties": {
                "country": { "type": "string" },
                "loc": { "type": "geo_point" }
            }
        }
    }
}

其中有这样一条数据：

{ "country": "UK", "loc": ["51.511214,-0.119824", "53.479251,
-2.247926", "53.962301,-1.081884"] }

通过下式的查询，表示寻找与”loc”: “51.511214,-0.119824”距离最小的点。
{
“sort”: [{
“_geo_distance”: {
“loc”: “51.511214,-0.119824”,
“unit”: “km”,
“mode” : “min”
}
}]
}
可得到如下的结果。其中sort:[0,0]，是因为查询的条件与文档的值一模一样。

{
    "took" : 21,
    "timed_out" : false,
    "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
    },
    "hits" : {
        "total" : 1,
        "max_score" : null,
        "hits" : [ {
            "_index" : "map",
            "_type" : "poi",
            "_id" : "1",
            "_score" : null, "_source" : {
            "country": "UK", "loc": ["51.511214,-0.119824",
            "53.479251,-2.247926", "53.962301,-1.081884"] }
            ,
            "sort" : [ 0.0 ]
        } ]
    }
}

3. 嵌套对象（Nested object）
假设有如下包含多个嵌套的数据：

{
    "country": "PL", "cities": { "name": "Cracow", "votes": {
    "users": "A" }}
}
{
    "country": "EN", "cities": { "name": "York", "votes": [{"users":
    "B"}, { "users": "C" }]}
    }
{
    "country": "FR", "cities": { "name": "Paris", "votes": {
    "users": "D"} }
}

那么可以通过嵌套对象形式指定查询的排序规则：

{
    "sort": [{ "cities.votes.users": { "order": "desc", "mode":
    "min" }}]
}

5 filter缓冲

es会为filter字段进行缓存，即存储已经匹配的文档，在下次相同过滤条件时，不需要再次查询索引，以此提高性能。
filter语法：

{
    "query" : {
        "filtered" : {
            "query" : {
                "term" : { "name" : "joe" }
            },
            "filter" : {
                "term" : { "year" : 1981 }
            }
        }
    }
}

但也不是所有filter es都会为其缓存，以下的filter es就不会缓存：
• numeric_range
• script
• geo_bbox
• geo_distance
• geo_distance_range
• geo_polygon
• geo_shape
• and
• or
• not

6交叉查询（join查询）

例1
有如下记录：

curl -XPUT 'localhost:9200/clients/client/1' -d '{
"id":"1", "name":"Joe Doe", "books":["1","3"]
}'
curl -XPUT 'localhost:9200/clients/client/2' -d '{
"id":"2", "name":"Jane Doe", "books":["3"]
}'
curl -XPUT 'localhost:9200/books/book/1' -d '{
"id":"1", "title":"Test book one"
}'
curl -XPUT 'localhost:9200/books/book/2' -d '{
"id":"2", "title":"Test book two"
}'
curl -XPUT 'localhost:9200/books/book/3' -d '{
"id":"3", "title":"Test book three"
}'

查询用户中id为1的所购买的所有图书：

curl -XGET 'localhost:9200/books/_search' -d '{
    "query" : {
        "filtered" : {
            "query" : {
            "match_all" : {}
            },
            "filter" : {
                "terms" : {
                    "id" : {
                        "index" : "clients",
                        "type" : "client",
                        "id" : "1",
                        "path" : "books"
                    },
                    "_cache_key" : "terms_lookup_client_1_books"
                }
            }
        }
    }
}'

其思路就是：先在索引为clients，类型为client，id为1，filed为books的记录缓存起来，然后在索引为books下，匹配图书的id是否与缓存中的id相等。

7 小面化（faceting）

之所以采用faceting这个词，是因为为了表述将结果的简单数学统计信息摊牌于一个面上，让人们观看。
faceting的计算数据是依据查询的数据集。如下，将会查看所有文档在price字段价格为30以下以及30以上的简单数学描述信息。

{
    "query" : {
        "match_all" : {}
    },
    "filter" : {
        "term" : { "category" : "book" }
    },
    "facets" : {
        "price" : {
            "range" : {
            "field" : "price",
            "ranges" : [
                { "to" : 30 },
                { "from" : 30 }
            ]
            }
        }
    }
}

如下，将会查看经过过滤后所有文档在price字段价格为30以下以及30以上的简单数学描述信息。

{
    "query" : {
        "filtered" : {
            "query" : {
                "match_all" : {}
            },
            "filter" : {
                "term" : {
                "category" : "book" }
            }
        }
    },
    "facets" : {
        "price" : {
            "range" : {
                "field" : "price",
                "ranges" : [
                    { "to" : 30 },
                    { "from" : 30 }
                ]
            }
        }
    }
}

那么将会得到如下的结果：

{
    ...
    "hits" : {
        "total" : 2,
        "max_score" : 1.0,
        "hits" : [ {
        "_index" : "books",
        "_type" : "book",
        "_id" : "1",
        "_score" : 1.0, "_source" : {"id":"1", "title":"Test book
        1", "category":"book", "price":29.99}
        }, {
        "_index" : "books",
        "_type" : "book",
        "_id" : "2",
        "_score" : 1.0, "_source" : {"id":"2", "title":"Test book
        2", "category":"book", "price":39.99}
        } ]
    },
    "facets" : {
        "price" : {
            "_type" : "range",
            "ranges" : [ {
                "to" : 30.0,
                "count" : 1,
                "min" : 29.99,
                "max" : 29.99,
                "total_count" : 1,
                "total" : 29.99,
                "mean" : 29.99
            }, {
                "from" : 30.0,
                "count" : 1,
                "min" : 39.99,
                "max" : 39.99,
                "total_count" : 1,
                "total" : 39.99,
                "mean" : 39.99
            } ]
        }
    }
}
zkq_1986
关注
专栏目录
ElasticSearch系列一：ElasticSearch基本概念
qq_40595922的博客
09-28 582
es基础概念
lucene精解-BooleanQuery、RangeQuery及rewrite
深未来技术
12-24 832
1、BooleanQuery1)Term t1=new Term("bookname","女");Term t2=new Term("bookname","的");Term t3=new Term("bookname","我"); TermQuery q1=new TermQuery(t1);TermQuery q2=new TermQuery(t2);TermQu
Lucene学习总结之七：Lucene搜索过程解析
apple01010105的博客
06-25 639
一、Lucene搜索过程总论 搜索的过程总的来说就是将词典及倒排表信息从索引中读出来，根据用户输入的查询语句合并倒排表，得到结果文档集并对文档进行打分的过程。 其可用如下图示： 总共包括以下几个过程： IndexReader打开索引文件，读取并打开指向索引文件的流。用户输入查询语句将查询语句转换为查询对象Query对象树构造Weight对象树，用于计算词的权重...
拆解Cluene系列(22)——Query的再解释
聪明的狐狸
08-28 726
在Lucene中的许多Query,都需要进行翻译，最终翻译成一个个简单的sub Query,本文是对翻译算法的解释和介绍。
ElasticSearch基本概念
Yisnow.的博客
09-03 2024
1、核心概念 索引index:数据库 doc_type:table mapping:db_schema(有点类似于表的定义) primary shard(主分片) replica shard(副分片) 2、数据组织 2.1 逻辑组织 Elasticsearch同样具有这样的概念，如下图所示，使用index和doc_type来组织数据。doc_type中的每条数据称为一个document，是一个JSON Object，相关的schema信息通过mapping来定义。mapping不仅仅包括数据类型的定义
elasticsearch基本概念
学亮编程手记
02-26 204
Elasticsearch分组聚合-查询
zkq_1986的博客
08-31 9114
1 统计某个字段下的分组情况类似如下功能： select count(*) from mytable group by myfieldcurl -XPOST 'localhost:19200/ylchou-0-2015-10-07/_search?pretty' -d ' { "size": 0, "aggs": { "group_by_state": {
Term weight algorithm in IR
zkq_1986的博客
08-12 1043
1 TF-IDF2 BM25f是TD-IDF中的TF，|D|是文档D的长度，avgdl是语料库全部文档的平均长度。k1和b是参数。usually chosen, in absence of an advanced optimization, as k1∈[1.2,2.0]k_1 \in [1.2, 2.0] and b = 0.75 。 b的相关性令： y=1-b+b*x， x表示|D|/
Elasticsearch集群入门-基本操作
zkq_1986的博客
07-21 495
1 启动集群转到bin目录，运行如下命令：./elasticsearch关掉Elasticsearch如果节点是连接到控制台，按下Ctrl+C。 第二种选择是通过发送TERM信号杀掉服务器进程（参考Linux上的kill命令和Windows上的任务管理器）。 第三种方法是使用REST API。 对于第三种方法可以执行以下命令来关掉整个集群：curl -XPOST http://localhost:9
ELK-ELK基本概念_ElasticSearch的配置
最新发布
sq2048935747@163.com的博客
11-06 530
ELK是Elasticsearch、Logstash、Kibana三个开源框架首字母的缩写，它们共同构成了一个强大的日志分析和搜索平台。：一个基于Lucene的开源分布式搜索引擎，提供搜集、分析、存储数据功能。Logstash：一个日志搜集、分析、过滤的工具，支持大量数据获取方式，其自带输入（input）、过滤（filter）、输出（output）三部分。Kibana。
黑客扫描全网 Git 配置文件并窃取大量云凭据
分享web安全、AI安全、云安全、业务安全、渗透测试、安全开发、安全工具、行业动态等优质内容……
11-01 1432
Sysdig 表示，在 Telegram 上，仅指向公开的 Git 配置文件的 URL 列表就以 100 美元左右的价格出售，那些实际去利用的人可能会赚取到更多的钱。攻击者使用暴露的电子邮件平台身份验证令牌来开展垃圾邮件和网络钓鱼活动。在公开的 URL 中，有 28,000 个对应于 Git 存储库，6,000 个是 GitHub 令牌，值得注意的是，有 2,000 个被验证为有效凭证。Sysdig 表示，黑客甚至创建了文件，列出了所有可能的 IPv4 地址，包含超过 42 亿个目标，以方便未来的扫描。
在IDEA中使用Git
Stewie Lee的博客
11-04 963
这里我们使用 Gitee 做例子，使用 SSH 协议。看这个文章前最好看一下《》这个文章，了解一下 SSH。
【Git】如何在 Git 中高效合并分支：完整指南
人生苦短，睡觉要紧，睡醒再说
11-03 1122
在现代软件开发中，版本控制系统是不可或缺的工具，而 Git 则是目前最流行的选择之一。合并分支是 Git 工作流程中一项至关重要的操作，它不仅涉及将不同的开发工作整合到一起，还要求开发者具备解决冲突的能力。无论是与团队协作，还是处理自己的功能开发，理解 Git 中的合并过程将大大提高工作效率。本篇文章将详细介绍如何在 Git 中高效合并分支，从基础操作到解决冲突的技巧，确保你能够轻松掌握这一重要技能。
ES入门：查询和聚合
不惑
11-01 924
安装完ElasticSearch 和 Kibana后我们开始学习。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值