ElasticSearch6.x 之映射参数

最新推荐文章于 2023-08-25 09:37:37 发布
最新推荐文章于 2023-08-25 09:37:37 发布
阅读量574 收藏
点赞数
分类专栏： elasticsearch 学习笔记

本文转载至https://blog.csdn.net/chengyuqiang/article/details/79059958

映射参数概述：

       ElasticSearch提供了丰富的映射参数。

       官网地址：https://www.elastic.co/guide/en/elasticsearch/reference/6.3/mapping-params.html

1、analyzer

指定分词器，对应索引和查询都有效。如下：IK分词配置

第一步：定义索引并定义映射

第二步：向指定索引填充数据

Post http://192.168.1.74:9200/my_index/it/1
{
   "name" : "中国是个幸福美丽的国度"
}

Post http://192.168.1.74:9200/my_index/it/2
{
   "name" : "广东省的省会城市是羊城(广州)"
}

Post http://192.168.1.74:9200/my_index/it/3
{
   "name" : "中国最南的岛屿叫曾母暗沙"
}

第三步：查询

2、normalizer

elasticsearch标准化配置属性，如下：所有字符转换为小写。

第一步：定义索引，并设置elasticsearch 分析标准。

参数内容：

{
"settings": {
    "analysis": {
      "normalizer":{
        "my_normalizer":{
          "type":"custom",
          "char_filter" : [],
          "filter" : ["lowercase", "asciifolding"]
        }
      }
    }
  },
  "mappings": {
    "it" : {
      "properties" : {
        "name" : {
          "type": "keyword",
          "normalizer": "my_normalizer"
        }
      }
    }
  }
}

第二步：插入数据：

Post http://192.168.1.74:9200/my_index/it/1
{
   "name" : "bar"
}

Post http://192.168.1.74:9200/my_index/it/2
{
   "name" : "BAR"
}

Post http://192.168.1.74:9200/my_index/it/3
{
   "name" : "BaR"
}

第三步：查询数据：

3、boost

通过指定一个boost值来控制每个查询子句的相对权重，该值默认为1。一个大于1的boost会增加该查询子句的相对权重。

第一步：定义索引，设置权重比值

第二步：填充数据

Post http://192.168.1.74:9200/my_index/it/1
{
   "title" : "client me"
}

Post http://192.168.1.74:9200/my_index/it/2
{
   "title" : "follow"
}

第三步：查询数据

4、coerce

coerce属性用于清除脏数据，coerce的默认值是true。整型数字5有可能会被写成字符串“5”或者浮点数5.0.coerce属性可以用来清除脏数据：

  1. 字符串会被强制转换为整数
  2. 浮点数被强制转换为整数 

【例子】 
（1）重新创建my_index

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "number_one": {
          "type": "integer"
        },
        "number_two": {
          "type": "integer",
          "coerce": false
        }
      }
    }
  }
}

（2）写入一条测试文档

PUT my_index/my_type/1
{
  "number_one": "10" 
}
{
  "_index": "my_index",
  "_type": "my_type",
  "_id": "1",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 0,
  "_primary_term": 1
}

（3）写入另一条测试文档

PUT my_index/my_type/2
{
  "number_two": "10" 
}
{
  "error": {
    "root_cause": [
      {
        "type": "mapper_parsing_exception",
        "reason": "failed to parse [number_two]"
      }
    ],
    "type": "mapper_parsing_exception",
    "reason": "failed to parse [number_two]",
    "caused_by": {
      "type": "illegal_argument_exception",
      "reason": "Integer value passed as String"
    }
  },
  "status": 400
}

5、copy-to

copy_to属性用于配置自定义的_all字段。换言之，就是多个字段可以合并成一个超级字段。比如，first_name和last_name可以合并为full_name字段。 
【例子】 
（1）

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "first_name": {
          "type": "text",
          "copy_to": "full_name" 
        },
        "last_name": {
          "type": "text",
          "copy_to": "full_name" 
        },
        "full_name": {
          "type": "text"
        }
      }
    }
  }
}

PUT my_index/my_type/1
{
  "first_name": "John",
  "last_name": "Smith"
}

（2）查询

GET my_index/_search
{
  "query": {
    "match": {
      "full_name": { 
        "query": "John Smith",
        "operator": "and"
      }
    }
  }
}
{
  "took": 22,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.5753642,
    "hits": [
      {
        "_index": "my_index",
        "_type": "my_type",
        "_id": "1",
        "_score": 0.5753642,
        "_source": {
          "first_name": "John",
          "last_name": "Smith"
        }
      }
    ]
  }
}

6、doc_values

doc_values是为了加快排序、聚合操作，在建立倒排索引的时候，额外增加一个列式存储映射，是一个空间换时间的做法。默认是开启的，对于确定不需要聚合或者排序的字段可以关闭。

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "status_code": { 
          "type":       "keyword"
        },
        "session_id": { 
          "type":       "keyword",
          "doc_values": false
        }
      }
    }
  }
}

7、dynamic

dynamic属性用于检测新发现的字段，有三个取值：

  • true:新发现的字段添加到映射中。（默认）
  • flase:新检测的字段被忽略。必须显式添加新字段。
  • strict:如果检测到新字段，就会引发异常并拒绝文档

【例子】 
（1）新建索引 
取值为strict，非布尔值要加引号

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "dynamic": "strict", 
      "properties": {
        "title": { "type": "text"}
      }
    }
  }
}

（2）插入新文档

PUT my_index/my_type/1
{
  "title": "test",
  "content": "test dynamic"
}

抛出异常

{
  "error": {
    "root_cause": [
      {
        "type": "strict_dynamic_mapping_exception",
        "reason": "mapping set to strict, dynamic introduction of [content] within [my_type] is not allowed"
      }
    ],
    "type": "strict_dynamic_mapping_exception",
    "reason": "mapping set to strict, dynamic introduction of [content] within [my_type] is not allowed"
  },
  "status": 400
}

 

8、enabled

ELasticseaech默认会索引所有的字段，enabled设为false的字段，es会跳过字段内容，该字段只能从_source中获取，但是不可搜。而且字段可以是任意类型。

【例子】 
（1）新建索引，插入文档

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "name":{"enabled": false}
      } 
    }
  }
}
PUT my_index/my_type/1
{
  "title": "test enabled",
  "name":"chengyuqiang"
}

（2）查看文档

GET my_index/my_type/1
{
  "_index": "my_index",
  "_type": "my_type",
  "_id": "1",
  "_version": 1,
  "found": true,
  "_source": {
    "title": "test enabled",
    "name": "chengyuqiang"
  }
}

（3）搜索字段

GET my_index/_search
{
  "query": {
    "match": {
      "name": "chengyuqiang"
    }
  }
}
{
  "took": 4,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 0,
    "max_score": null,
    "hits": []
  }
}

9、ignore_above

ignore_above用于指定字段索引和存储的长度最大值，超过最大值的会被忽略

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "message": {
          "type": "keyword",
          "ignore_above": 20 
        }
      }
    }
  }
}

PUT my_index/my_type/1 
{
  "message": "Syntax error"
}

PUT my_index/my_type/2 
{
  "message": "Syntax error with some long stacktrace"
}
GET my_index/_search 
{
  "size":0,
  "aggs": {
    "messages": {
      "terms": {
        "field": "message"
      }
    }
  }
}

mapping中指定了ignore_above字段的最大长度为20，第一个文档的字段长小于20，因此索引成功，第二个超过20，因此不索引，返回结果只有”Syntax error”,结果如下

{
  "took": 12,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "messages": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "Syntax error",
          "doc_count": 1
        }
      ]
    }
  }
}

10、ignore_malformed

ignore_malformed可以忽略不规则数据。对于账号userid字段，有人可能填写的是 整数类型，也有人填写的是邮件格式。给一个字段索引不合适的数据类型发生异常，导致整个文档索引失败。如果ignore_malformed参数设为true，异常会被忽略，出异常的字段不会被索引，其它字段正常索引。
 

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "number_one": {
          "type": "integer",
          "ignore_malformed": true
        },
        "number_two": {
          "type": "integer"
        }
      }
    }
  }
}

PUT my_index/my_type/1
{
  "text":       "Some text value",
  "number_one": "foo" 
}

PUT my_index/my_type/2
{
  "text":       "Some text value",
  "number_two": "foo" 
}

上面的例子中number_one接受integer类型，ignore_malformed属性设为true，因此文档一种number_one字段虽然是字符串但依然能写入成功；number_two接受integer类型，默认ignore_malformed属性为false，因此写入失败。
 

{
  "error": {
    "root_cause": [
      {
        "type": "mapper_parsing_exception",
        "reason": "failed to parse [number_two]"
      }
    ],
    "type": "mapper_parsing_exception",
    "reason": "failed to parse [number_two]",
    "caused_by": {
      "type": "number_format_exception",
      "reason": "For input string: \"foo\""
    }
  },
  "status": 400
}

11、index_options

index_options参数控制将哪些信息添加到倒排索引，用于搜索和突出显示目的。

注意：The index_options parameter has been deprecated for Numeric fields in 6.0.0。6.0.0中的数字字段已弃用index_options参数。

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "text": {
          "type": "text",
          "index_options": "offsets"
        }
      }
    }
  }
}

PUT my_index/my_type/1
{
  "text": "Quick brown fox"
}

GET my_index/_search
{
  "query": {
    "match": {
      "text": "brown fox"
    }
  },
  "highlight": {
    "fields": {
      "text": {} 
    }
  }
}
{
  "took": 50,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.5753642,
    "hits": [
      {
        "_index": "my_index",
        "_type": "my_type",
        "_id": "1",
        "_score": 0.5753642,
        "_source": {
          "text": "Quick brown fox"
        },
        "highlight": {
          "text": [
            "Quick <em>brown</em> <em>fox</em>"
          ]
        }
      }
    ]
  }
}

12、 index

index属性指定字段是否索引，不索引也就不可搜索，取值可以为true或者false。

13、fields

fields可以让同一文本有多种不同的索引方式，比如一个String类型的字段，可以使用text类型做全文检索，使用keyword类型做聚合和排序。

DELETE my_index

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "city": {
          "type": "text",
          "fields": {
            "raw": { 
              "type":  "keyword"
            }
          }
        }
      }
    }
  }
}

PUT my_index/my_type/1
{
  "city": "New York"
}

PUT my_index/my_type/2
{
  "city": "York"
}

GET my_index/_search
{
  "query": {
    "match": {
      "city": "york" 
    }
  },
  "sort": {
    "city.raw": "asc" 
  },
  "aggs": {
    "Cities": {
      "terms": {
        "field": "city.raw" 
      }
    }
  }
}

{
  "took": 31,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": null,
    "hits": [
      {
        "_index": "my_index",
        "_type": "my_type",
        "_id": "1",
        "_score": null,
        "_source": {
          "city": "New York"
        },
        "sort": [
          "New York"
        ]
      },
      {
        "_index": "my_index",
        "_type": "my_type",
        "_id": "2",
        "_score": null,
        "_source": {
          "city": "York"
        },
        "sort": [
          "York"
        ]
      }
    ]
  },
  "aggregations": {
    "Cities": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "New York",
          "doc_count": 1
        },
        {
          "key": "York",
          "doc_count": 1
        }
      ]
    }
  }
}

说明：The city.raw field is a keyword version of the city field (.city.raw字段是城市字段的关键字版本。) 
The city field can be used for full text search.( city字段可用于全文搜索。) 
The city.raw field can be used for sorting and aggregations.( city.raw字段可用于排序和聚合)
 

在奋斗的大道
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch 50道面试题和答案.docx
06-14
启动Elasticsearch通常涉及运行安装目录下的`bin/elasticsearch`脚本，可以通过命令行参数指定后台运行。验证其是否启动成功，可以通过访问`http://ES IP:9200`来检查。如果遇到启动问题，日志文件会提供详细的错误...
python中的Elasticsearch操作汇总
09-18
需要指定索引名、文档类型（在Elasticsearch 7.x之后已被弃用，但仍然可以用作别名）以及文档ID和内容： ```python es.index(index="python_es01", doc_type="doc", id=1, body={"name": "kitty", "age": 50}) # ...
org.elasticsearch.ElasticsearchStatusException: Elasticsearch exception [type=illegal_argument_excep
最新发布
Artij的博客
08-25 5652
1.检查当前的 Elasticsearch 版本是否支持指定的参数。检查es服务器版本 ，是否与pom文件中版本一致。2.服务器版本和pom文件版本问题。检查pom中es版本。
修改ElasticSearch默认的from size
weixin_30629653的博客
04-07 688
如果需要搜索分页，可以通过from size组合来进行。from表示从第几行开始，size表示查询多少条文档。from默认为0，size默认为10， 如果搜索size大于10000，需要设置index.max_result_window参数 注意：size的大小不能超过index.max_result_window这个参数的设置，默认为10,000。 原文地址:ht...
Elasticsearch exception [type=illegal_argument_exception, reason=request [/index索引名/_search] contain
qq_28772075的博客
12-30 1万+
记录开发中遇到的问题： 报错：Elasticsearch exception [type=illegal_argument_exception, reason=request [/index索引名/_search] contain spring 2.4.5版本集成ES时，默认集成的是7.9的ES。 我环境搭建的ES是6.8的，导致两个版本不匹配，报上述错误。下方是从其他博客上找到的spring和ES的对应版本，建议大家做好版本匹配。 下面讲一下版本号不匹配时的解决方案： （更改前）调整spri
Elasticsearch整理笔记（四）
九日王朝
09-25 369
filter组合查询： POSThttp://localhost:9200/order_server/order/_search { "_source":false, "query": { "bool": { "filter": [ {"term":{ "status":1 }}, {"term":{ "extras.student_name":"张三" }}, .
ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception
delicate_pig_liu的博客
07-24 3万+
ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=Fielddata is disabled on text fields by default. Set fielddata=true on [categoryName] in order to load fielddata...
使用docker快速搭建Elasticsearch集群.pdf
11-23
Elasticsearch需要大量的内存映射来高效处理数据，因此这个值至少应设置为262144。在Linux上，你可以在`/etc/sysctl.conf`文件中永久性地设置这个值，并使用`sysctl -p`命令使其生效。对于Docker for Mac用户，由于...
docker-compose安装elasticsearch集群.docx
06-19
这里我们使用的是一个第三方镜像`tobias74/elasticsearch-head:6`，它与Elasticsearch 6.x版本兼容。 接下来，我们关注YAML配置文件的编写： (1) `master`配置文件： - `bootstrap.memory_lock`: 锁定内存以避免...
ES-illegal_argument_exception报错
yangkei
01-09 2015
ES-illegal_argument_exception报错
Elasticsearch：如何在导入时忽略格式错误的数据
Elastic 中国社区官方博客
06-17 1534
有时，你对收到的数据没有太多控制权。 一个用户可以发送一个日期形式的 login 字段，另一个用户发送一个电子邮件地址形式的 login 字段。 默认情况下，尝试将错误的数据类型索引到字段中会引发异常，并拒绝整个文档。 ignore_malformed 参数如果设置为 true，则允许忽略异常。 格式错误的字段没有被索引，但是文档中的其他字段被正常处理。 让我们来用一个例子来进行展示。在 Kibana 中，打入如下的数据： PUT my-index-000001 { "mappings": {
01- ElasticSearch（简称ES）- 简介
漂流幻境
10-19 508
ElasticSearch简介 Elasticsearch是用Java开发并且是当前最流行的开源的企业级搜索引擎。 能够达到实时搜索，稳定，可靠，快速，安装使用方便。 客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。 官方网站: https://www.elastic.co/ 下载地址：https://www.elastic.co/cn/start 对比Lucene Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库（框架）
es字段映射
zhaoyangjian724的专栏
06-17 1196
,},},"id": {"_doc": {"id": {},... 1 more。
Elasticsearch：字段太多， 在 Elasticsearch 中防止映射爆炸的 3 种方法
Elastic 中国社区官方博客
06-07 2939
当一个系统具有三样东西时，它就被称为“可观察的”：日志、指标和跟踪。 虽然指标和跟踪具有可预测的数据结构，但日志（尤其是应用程序日志）通常是非结构化数据，需要收集和解析才能真正有用。 因此，控制日志可以说是实现可观察性最难的部分。如果你想了解如何把一个数据进行结构化，请参考我之前的文章 “Elasticsearch：Elastic可观测性 - 运用 pipeline 使数据结构化”。你可以在 “Elastic：开发者上手指南” 查找更多的文章。......
Elasticsearch 空值处理实战指南
铭毅天下Elasticsearch
11-15 8338
1、引言 实战业务场景中，经常会遇到定义空值、检索指定空值数据的情况。这时候，当我们翻看官方文档 null_value 部分，会看到如下的描述：Accepts a string valu...
ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=Fielddata is
FangWenJuno的博客
02-22 1万+
ElasticsearchStatusException[Elasticsearch exception [type=search_phase_execution_exception, reason=all shards failed] ]; nested: ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=Fielddata is disabled on text fields .
（十二）如何配置使用Elasticsearch的动态映射 (dynamic mapping)
hd20086996的博客
10-12 982
目录1 动态映射(dynamic mapping)1.1 什么是动态映射1.2 体验动态映射2 开启dynamic mapping动态映射策略2.1 约束策略2.2 策略示例3 定制dynamic mapping策略3.1 date_detection - 日期识别策略3.2 在type中自定义动态映射模板 写在前面: 本文涉及到的演示以ES 6.6.0版本, 其他版本可能存在不同, 还请读者朋友们注意. 1 动态映射(dynamic mapping) 1.1 什么是动态映射 动态映射时Elasticsea
已解决：Elasticsearch报错：exception [type=search_phase_execution_exception, reason=all shards failed]
热门推荐
陈哈哈的菜园子
11-04 13万+
Exception in thread "main" ElasticsearchStatusException[Elasticsearch exception [type=search_phase_execution_exception, reason=all shards failed]]; nested: ElasticsearchException[Elasticsearch except...
总结—elasticsearch启动失败的几种情况及解决
liuxiangyang_的博客
04-11 3万+
1、使用root用户启动失败 在有一次搭建elasticsearch的时候，使用systemctl启动elasticsearch失败，然后在bin目录下面去使用启动脚本启动，发现报错不能用root用户启动，报“Caused by: java.lang.RuntimeException: can not run elasticsearch as root”： [root@localhos...
es禁止自动创建索引和映射怎么配置
06-01
要禁止 Elasticsearch 自动创建索引和映射，可以通过在 Elasticsearch 配置文件中设置以下参数： ``` action.auto_create_index: false index.mapper.dynamic: false ``` 第一个参数 `action.auto_create_index` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值