ElasticSearch6.x 之映射参数

最新推荐文章于 2023-11-02 10:35:41 发布
最新推荐文章于 2023-11-02 10:35:41 发布
阅读量598 收藏
点赞数
分类专栏： elasticsearch 学习笔记

本文转载至https://blog.csdn.net/chengyuqiang/article/details/79059958

映射参数概述：

       ElasticSearch提供了丰富的映射参数。

       官网地址：https://www.elastic.co/guide/en/elasticsearch/reference/6.3/mapping-params.html

1、analyzer

指定分词器，对应索引和查询都有效。如下：IK分词配置

第一步：定义索引并定义映射

第二步：向指定索引填充数据

Post http://192.168.1.74:9200/my_index/it/1
{
   "name" : "中国是个幸福美丽的国度"
}

Post http://192.168.1.74:9200/my_index/it/2
{
   "name" : "广东省的省会城市是羊城(广州)"
}

Post http://192.168.1.74:9200/my_index/it/3
{
   "name" : "中国最南的岛屿叫曾母暗沙"
}

第三步：查询

2、normalizer

elasticsearch标准化配置属性，如下：所有字符转换为小写。

第一步：定义索引，并设置elasticsearch 分析标准。

参数内容：

{
"settings": {
    "analysis": {
      "normalizer":{
        "my_normalizer":{
          "type":"custom",
          "char_filter" : [],
          "filter" : ["lowercase", "asciifolding"]
        }
      }
    }
  },
  "mappings": {
    "it" : {
      "properties" : {
        "name" : {
          "type": "keyword",
          "normalizer": "my_normalizer"
        }
      }
    }
  }
}

第二步：插入数据：

Post http://192.168.1.74:9200/my_index/it/1
{
   "name" : "bar"
}

Post http://192.168.1.74:9200/my_index/it/2
{
   "name" : "BAR"
}

Post http://192.168.1.74:9200/my_index/it/3
{
   "name" : "BaR"
}

第三步：查询数据：

3、boost

通过指定一个boost值来控制每个查询子句的相对权重，该值默认为1。一个大于1的boost会增加该查询子句的相对权重。

第一步：定义索引，设置权重比值

第二步：填充数据

Post http://192.168.1.74:9200/my_index/it/1
{
   "title" : "client me"
}

Post http://192.168.1.74:9200/my_index/it/2
{
   "title" : "follow"
}

第三步：查询数据

4、coerce

coerce属性用于清除脏数据，coerce的默认值是true。整型数字5有可能会被写成字符串“5”或者浮点数5.0.coerce属性可以用来清除脏数据：

  1. 字符串会被强制转换为整数
  2. 浮点数被强制转换为整数 

【例子】 
（1）重新创建my_index

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "number_one": {
          "type": "integer"
        },
        "number_two": {
          "type": "integer",
          "coerce": false
        }
      }
    }
  }
}

（2）写入一条测试文档

PUT my_index/my_type/1
{
  "number_one": "10" 
}
{
  "_index": "my_index",
  "_type": "my_type",
  "_id": "1",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 0,
  "_primary_term": 1
}

（3）写入另一条测试文档

PUT my_index/my_type/2
{
  "number_two": "10" 
}
{
  "error": {
    "root_cause": [
      {
        "type": "mapper_parsing_exception",
        "reason": "failed to parse [number_two]"
      }
    ],
    "type": "mapper_parsing_exception",
    "reason": "failed to parse [number_two]",
    "caused_by": {
      "type": "illegal_argument_exception",
      "reason": "Integer value passed as String"
    }
  },
  "status": 400
}

5、copy-to

copy_to属性用于配置自定义的_all字段。换言之，就是多个字段可以合并成一个超级字段。比如，first_name和last_name可以合并为full_name字段。 
【例子】 
（1）

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "first_name": {
          "type": "text",
          "copy_to": "full_name" 
        },
        "last_name": {
          "type": "text",
          "copy_to": "full_name" 
        },
        "full_name": {
          "type": "text"
        }
      }
    }
  }
}

PUT my_index/my_type/1
{
  "first_name": "John",
  "last_name": "Smith"
}

（2）查询

GET my_index/_search
{
  "query": {
    "match": {
      "full_name": { 
        "query": "John Smith",
        "operator": "and"
      }
    }
  }
}
{
  "took": 22,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.5753642,
    "hits": [
      {
        "_index": "my_index",
        "_type": "my_type",
        "_id": "1",
        "_score": 0.5753642,
        "_source": {
          "first_name": "John",
          "last_name": "Smith"
        }
      }
    ]
  }
}

6、doc_values

doc_values是为了加快排序、聚合操作，在建立倒排索引的时候，额外增加一个列式存储映射，是一个空间换时间的做法。默认是开启的，对于确定不需要聚合或者排序的字段可以关闭。

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "status_code": { 
          "type":       "keyword"
        },
        "session_id": { 
          "type":       "keyword",
          "doc_values": false
        }
      }
    }
  }
}

7、dynamic

dynamic属性用于检测新发现的字段，有三个取值：

  • true:新发现的字段添加到映射中。（默认）
  • flase:新检测的字段被忽略。必须显式添加新字段。
  • strict:如果检测到新字段，就会引发异常并拒绝文档

【例子】 
（1）新建索引 
取值为strict，非布尔值要加引号

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "dynamic": "strict", 
      "properties": {
        "title": { "type": "text"}
      }
    }
  }
}

（2）插入新文档

PUT my_index/my_type/1
{
  "title": "test",
  "content": "test dynamic"
}

抛出异常

{
  "error": {
    "root_cause": [
      {
        "type": "strict_dynamic_mapping_exception",
        "reason": "mapping set to strict, dynamic introduction of [content] within [my_type] is not allowed"
      }
    ],
    "type": "strict_dynamic_mapping_exception",
    "reason": "mapping set to strict, dynamic introduction of [content] within [my_type] is not allowed"
  },
  "status": 400
}

 

8、enabled

ELasticseaech默认会索引所有的字段，enabled设为false的字段，es会跳过字段内容，该字段只能从_source中获取，但是不可搜。而且字段可以是任意类型。

【例子】 
（1）新建索引，插入文档

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "name":{"enabled": false}
      } 
    }
  }
}
PUT my_index/my_type/1
{
  "title": "test enabled",
  "name":"chengyuqiang"
}

（2）查看文档

GET my_index/my_type/1
{
  "_index": "my_index",
  "_type": "my_type",
  "_id": "1",
  "_version": 1,
  "found": true,
  "_source": {
    "title": "test enabled",
    "name": "chengyuqiang"
  }
}

（3）搜索字段

GET my_index/_search
{
  "query": {
    "match": {
      "name": "chengyuqiang"
    }
  }
}
{
  "took": 4,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 0,
    "max_score": null,
    "hits": []
  }
}

9、ignore_above

ignore_above用于指定字段索引和存储的长度最大值，超过最大值的会被忽略

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "message": {
          "type": "keyword",
          "ignore_above": 20 
        }
      }
    }
  }
}

PUT my_index/my_type/1 
{
  "message": "Syntax error"
}

PUT my_index/my_type/2 
{
  "message": "Syntax error with some long stacktrace"
}
GET my_index/_search 
{
  "size":0,
  "aggs": {
    "messages": {
      "terms": {
        "field": "message"
      }
    }
  }
}

mapping中指定了ignore_above字段的最大长度为20，第一个文档的字段长小于20，因此索引成功，第二个超过20，因此不索引，返回结果只有”Syntax error”,结果如下

{
  "took": 12,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "messages": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "Syntax error",
          "doc_count": 1
        }
      ]
    }
  }
}

10、ignore_malformed

ignore_malformed可以忽略不规则数据。对于账号userid字段，有人可能填写的是 整数类型，也有人填写的是邮件格式。给一个字段索引不合适的数据类型发生异常，导致整个文档索引失败。如果ignore_malformed参数设为true，异常会被忽略，出异常的字段不会被索引，其它字段正常索引。
 

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "number_one": {
          "type": "integer",
          "ignore_malformed": true
        },
        "number_two": {
          "type": "integer"
        }
      }
    }
  }
}

PUT my_index/my_type/1
{
  "text":       "Some text value",
  "number_one": "foo" 
}

PUT my_index/my_type/2
{
  "text":       "Some text value",
  "number_two": "foo" 
}

上面的例子中number_one接受integer类型，ignore_malformed属性设为true，因此文档一种number_one字段虽然是字符串但依然能写入成功；number_two接受integer类型，默认ignore_malformed属性为false，因此写入失败。
 

{
  "error": {
    "root_cause": [
      {
        "type": "mapper_parsing_exception",
        "reason": "failed to parse [number_two]"
      }
    ],
    "type": "mapper_parsing_exception",
    "reason": "failed to parse [number_two]",
    "caused_by": {
      "type": "number_format_exception",
      "reason": "For input string: \"foo\""
    }
  },
  "status": 400
}

11、index_options

index_options参数控制将哪些信息添加到倒排索引，用于搜索和突出显示目的。

注意：The index_options parameter has been deprecated for Numeric fields in 6.0.0。6.0.0中的数字字段已弃用index_options参数。

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "text": {
          "type": "text",
          "index_options": "offsets"
        }
      }
    }
  }
}

PUT my_index/my_type/1
{
  "text": "Quick brown fox"
}

GET my_index/_search
{
  "query": {
    "match": {
      "text": "brown fox"
    }
  },
  "highlight": {
    "fields": {
      "text": {} 
    }
  }
}
{
  "took": 50,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.5753642,
    "hits": [
      {
        "_index": "my_index",
        "_type": "my_type",
        "_id": "1",
        "_score": 0.5753642,
        "_source": {
          "text": "Quick brown fox"
        },
        "highlight": {
          "text": [
            "Quick <em>brown</em> <em>fox</em>"
          ]
        }
      }
    ]
  }
}

12、 index

index属性指定字段是否索引，不索引也就不可搜索，取值可以为true或者false。

13、fields

fields可以让同一文本有多种不同的索引方式，比如一个String类型的字段，可以使用text类型做全文检索，使用keyword类型做聚合和排序。

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "city": {
          "type": "text",
          "fields": {
            "raw": { 
              "type":  "keyword"
            }
          }
        }
      }
    }
  }
}

PUT my_index/my_type/1
{
  "city": "New York"
}

PUT my_index/my_type/2
{
  "city": "York"
}

GET my_index/_search
{
  "query": {
    "match": {
      "city": "york" 
    }
  },
  "sort": {
    "city.raw": "asc" 
  },
  "aggs": {
    "Cities": {
      "terms": {
        "field": "city.raw" 
      }
    }
  }
}

{
  "took": 31,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": null,
    "hits": [
      {
        "_index": "my_index",
        "_type": "my_type",
        "_id": "1",
        "_score": null,
        "_source": {
          "city": "New York"
        },
        "sort": [
          "New York"
        ]
      },
      {
        "_index": "my_index",
        "_type": "my_type",
        "_id": "2",
        "_score": null,
        "_source": {
          "city": "York"
        },
        "sort": [
          "York"
        ]
      }
    ]
  },
  "aggregations": {
    "Cities": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "New York",
          "doc_count": 1
        },
        {
          "key": "York",
          "doc_count": 1
        }
      ]
    }
  }
}

说明：The city.raw field is a keyword version of the city field (.city.raw字段是城市字段的关键字版本。) 
The city field can be used for full text search.( city字段可用于全文搜索。) 
The city.raw field can be used for sorting and aggregations.( city.raw字段可用于排序和聚合)
 

在奋斗的大道
关注
专栏目录
[ElasticSearch2.x]映射（Mapping）
SmartSi
10-19 5761
为了能够把日期字段处理成日期，把数字字段处理成数字，把字符串字段处理成全文本（Full-text）或精确（Exact-value）的字符串值，Elasticsearch需要知道每个字段里面都包含什么数据类型。这些类型和字段的信息存储在映射（mapping）中。 索引中的每个文档都有一个类型（type）。 每个类型拥有自己的映射（mapping）或者模式定义（schema definition
Elasticsearch8.x Spring Data and Spring Boot 3 尝鲜
最新发布
u011728347的专栏
07-03 1282
在本教程中，我们将通过实际操作和实用的方式，探索使用 Spring Boot 进行 Elasticsearch 的基础知识。我们将学习如何使用 *Spring Data Elasticsearch* 模块创建索引、进行 CRUD 操作、搜索和查询 Elasticsearch 文档。我们还将看看如何在我们的 Spring 应用程序中记录 Elasticsearch 的请求和响应数据。
org.elasticsearch.ElasticsearchStatusException: Elasticsearch exception [type=illegal_argument_excep
Artij的博客
08-25 6392
1.检查当前的 Elasticsearch 版本是否支持指定的参数。检查es服务器版本 ，是否与pom文件中版本一致。2.服务器版本和pom文件版本问题。检查pom中es版本。
修改ElasticSearch默认的from size
weixin_30629653的博客
04-07 708
如果需要搜索分页，可以通过from size组合来进行。from表示从第几行开始，size表示查询多少条文档。from默认为0，size默认为10， 如果搜索size大于10000，需要设置index.max_result_window参数 注意：size的大小不能超过index.max_result_window这个参数的设置，默认为10,000。 原文地址:ht...
Elasticsearch exception [type=illegal_argument_exception, reason=request [/index索引名/_search] contain
qq_28772075的博客
12-30 1万+
记录开发中遇到的问题： 报错：Elasticsearch exception [type=illegal_argument_exception, reason=request [/index索引名/_search] contain spring 2.4.5版本集成ES时，默认集成的是7.9的ES。 我环境搭建的ES是6.8的，导致两个版本不匹配，报上述错误。下方是从其他博客上找到的spring和ES的对应版本，建议大家做好版本匹配。 下面讲一下版本号不匹配时的解决方案： （更改前）调整spri
ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception
热门推荐
delicate_pig_liu的博客
07-24 3万+
ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=Fielddata is disabled on text fields by default. Set fielddata=true on [categoryName] in order to load fielddata...
Elasticsearch整理笔记（四）
九日王朝
09-25 409
filter组合查询： POSThttp://localhost:9200/order_server/order/_search { "_source":false, "query": { "bool": { "filter": [ {"term":{ "status":1 }}, {"term":{ "extras.student_name":"张三" }}, .
elasticsearch2.x升级到6.x 完成数据迁移
wkNote
11-06 4967
官方文档方法描述：https://www.elastic.co/guide/en/elasticsearch/reference/current/reindex-upgrade-remote.html 官方对于版本升级的规则描述：https://www.elastic.co/guide/en/elasticsearch/reference/current/rolling-upgrades.html...
Elasticsearch 6.x版本重大改变（Breaking changes in 6.x）
withlw
09-14 1206
Breaking changes in 6.0 This section discusses the changes that you need to be aware of when migrating your application to Elasticsearch 6.0 本部分讨论将应用程序迁移到Elasticsearch 6.0时需要注意的更改。 indices created before 6.0. Elasticsearch 6.0 can read indices created in v
ES-illegal_argument_exception报错
yangkei
01-09 2106
ES-illegal_argument_exception报错
Elasticsearch：如何在导入时忽略格式错误的数据
Elastic 中国社区官方博客
06-17 1637
有时，你对收到的数据没有太多控制权。 一个用户可以发送一个日期形式的 login 字段，另一个用户发送一个电子邮件地址形式的 login 字段。 默认情况下，尝试将错误的数据类型索引到字段中会引发异常，并拒绝整个文档。 ignore_malformed 参数如果设置为 true，则允许忽略异常。 格式错误的字段没有被索引，但是文档中的其他字段被正常处理。 让我们来用一个例子来进行展示。在 Kibana 中，打入如下的数据： PUT my-index-000001 { "mappings": {
Elasticsearch实战：常见错误及详细解决方案
丨汀、的博客
11-02 3021
Elasticsearch实战：常见错误及详细解决方案
Elasticsearch exception [type=search_phase_execution_exception, reason=all shards failed]
一个菜鸡的博客
01-31 3188
"type":"query_shard_exception","reason":"failed to create query:
01- ElasticSearch（简称ES）- 简介
漂流幻境
10-19 564
ElasticSearch简介 Elasticsearch是用Java开发并且是当前最流行的开源的企业级搜索引擎。 能够达到实时搜索，稳定，可靠，快速，安装使用方便。 客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。 官方网站: https://www.elastic.co/ 下载地址：https://www.elastic.co/cn/start 对比Lucene Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库（框架）
Elasticsearch：ignore_malformed，映射异常的解药
Elastic 中国社区官方博客
06-21 1479
我们知道在文档摄入到 Elasticsearch 时，如果文档的字段在 mapping 中已经有定义，而当前的文档的字段的类型和之前的类型是不一样的情况下，那么我们该如何处理呢？上面的方法只适用于在能够转换的条件下才可以实现，比如 “1” => 1 的转换。但是，在有些情况下，我们的这种转换是根本不可行的，比如 "one" => 1。首先这种数据的类型是根本不一样，而且即便强制转换，也会失败。那么出现这种情况，一种是直接丢弃该文档，这会造成文档的丢失，即使是一个字段的类型不匹配。
es字段映射
zhaoyangjian724的专栏
06-17 1220
,},},"id": {"_doc": {"id": {},... 1 more。
Elasticsearch：字段太多， 在 Elasticsearch 中防止映射爆炸的 3 种方法
Elastic 中国社区官方博客
06-07 3124
当一个系统具有三样东西时，它就被称为“可观察的”：日志、指标和跟踪。 虽然指标和跟踪具有可预测的数据结构，但日志（尤其是应用程序日志）通常是非结构化数据，需要收集和解析才能真正有用。 因此，控制日志可以说是实现可观察性最难的部分。如果你想了解如何把一个数据进行结构化，请参考我之前的文章 “Elasticsearch：Elastic可观测性 - 运用 pipeline 使数据结构化”。你可以在 “Elastic：开发者上手指南” 查找更多的文章。......
Elasticsearch 空值处理实战指南
铭毅天下Elasticsearch
11-15 8488
1、引言 实战业务场景中，经常会遇到定义空值、检索指定空值数据的情况。这时候，当我们翻看官方文档 null_value 部分，会看到如下的描述：Accepts a string valu...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值