es字段映射

最新推荐文章于 2023-12-01 17:13:17 发布
最新推荐文章于 2023-12-01 17:13:17 发布
阅读量1.2k 收藏 1
点赞数 1
分类专栏： Flink实时计算 文章标签： 服务器 java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaoyangjian724/article/details/131256566
版权

PUT _template/metric_datatest
{
    "index_patterns": ["flink-*"],
    "aliases": {
            "test-all": {}         
        },
    "settings": {
        "number_of_shards": 3,  
        "number_of_replicas": 1 
    },
    "mappings": {
        "properties": {
            "r_value": {
                "type": "integer"
            },
            "id": {
                "type": "integer"
            }
         }
    }
}


{
  "mappings": {
    "_doc": {
      "properties": {
        "id": {
          "type": "integer"
        },
        "r_value": {
          "type": "integer"
        }
      }
    }
  }
}

Caused by: org.apache.flink.util.FlinkRuntimeException: org.apache.flink.util.FlinkRuntimeException: Single action index {[flink-test2023-06-07][_doc][null], source[{"r_value":"'2023-06-05-23:59:59@tz'"}]} of bulk request failed with status 400.
    at org.apache.flink.connector.elasticsearch.sink.ElasticsearchWriter.extractFailures(ElasticsearchWriter.java:270)
    at org.apache.flink.connector.elasticsearch.sink.ElasticsearchWriter.access$600(ElasticsearchWriter.java:55)
    at org.apache.flink.connector.elasticsearch.sink.ElasticsearchWriter$BulkListener.lambda$afterBulk$0(ElasticsearchWriter.java:219)
    at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$1.runThrowing(StreamTaskActionExecutor.java:50)
    at org.apache.flink.streaming.runtime.tasks.mailbox.Mail.run(Mail.java:90)
    at org.apache.flink.streaming.runtime.tasks.mailbox.MailboxExecutorImpl.tryYield(MailboxExecutorImpl.java:97)
    at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.quiesceTimeServiceAndFinishOperator(StreamOperatorWrapper.java:186)
    at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.finish(StreamOperatorWrapper.java:152)
    at org.apache.flink.streaming.runtime.tasks.RegularOperatorChain.finishOperators(RegularOperatorChain.java:115)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.endData(StreamTask.java:606)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.processInput(StreamTask.java:565)
    at org.apache.flink.streaming.runtime.tasks.mailbox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:231)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:839)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:788)
    at org.apache.flink.runtime.taskmanager.Task.runWithSystemExitMonitoring(Task.java:952)
    at org.apache.flink.runtime.taskmanager.Task.restoreAndInvoke(Task.java:931)
    at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:745)
    at org.apache.flink.runtime.taskmanager.Task.run(Task.java:562)
    at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.flink.util.FlinkRuntimeException: Single action index {[flink-test2023-06-07][_doc][null], source[{"r_value":"'2023-06-05-23:59:59@tz'"}]} of bulk request failed with status 400.
    at org.apache.flink.connector.elasticsearch.sink.ElasticsearchWriter.wrapException(ElasticsearchWriter.java:281)
    at org.apache.flink.connector.elasticsearch.sink.ElasticsearchWriter.extractFailures(ElasticsearchWriter.java:265)
    ... 18 more
Caused by: ElasticsearchException[Elasticsearch exception [type=mapper_parsing_exception, reason=failed to parse field [r_value] of type [integer] in document with id 'rxSsxogB2zQa1mCaQasF'. Preview of field's value: ''2023-06-05-23:59:59@tz'']]; nested: ElasticsearchException[Elasticsearch exception [type=number_format_exception, reason=For input string: "'2023-06-05-23:59:59@tz'"]];
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.ElasticsearchException.innerFromXContent(ElasticsearchException.java:496)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.ElasticsearchException.fromXContent(ElasticsearchException.java:407)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.action.bulk.BulkItemResponse.fromXContent(BulkItemResponse.java:139)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.action.bulk.BulkResponse.fromXContent(BulkResponse.java:188)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.client.RestHighLevelClient.parseEntity(RestHighLevelClient.java:1911)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.client.RestHighLevelClient.lambda$performRequestAsyncAndParseEntity$10(RestHighLevelClient.java:1699)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.client.RestHighLevelClient$1.onSuccess(RestHighLevelClient.java:1781)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.client.RestClient$FailureTrackingResponseListener.onSuccess(RestClient.java:636)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.client.RestClient$1.completed(RestClient.java:376)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.client.RestClient$1.completed(RestClient.java:370)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.concurrent.BasicFuture.completed(BasicFuture.java:122)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.client.DefaultClientExchangeHandlerImpl.responseCompleted(DefaultClientExchangeHandlerImpl.java:181)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.nio.protocol.HttpAsyncRequestExecutor.processResponse(HttpAsyncRequestExecutor.java:448)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.nio.protocol.HttpAsyncRequestExecutor.inputReady(HttpAsyncRequestExecutor.java:338)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.DefaultNHttpClientConnection.consumeInput(DefaultNHttpClientConnection.java:265)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.client.InternalIODispatch.onInputReady(InternalIODispatch.java:81)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.client.InternalIODispatch.onInputReady(InternalIODispatch.java:39)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.reactor.AbstractIODispatch.inputReady(AbstractIODispatch.java:114)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.reactor.BaseIOReactor.readable(BaseIOReactor.java:162)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.reactor.AbstractIOReactor.processEvent(AbstractIOReactor.java:337)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.reactor.AbstractIOReactor.processEvents(AbstractIOReactor.java:315)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.reactor.AbstractIOReactor.execute(AbstractIOReactor.java:276)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.reactor.BaseIOReactor.execute(BaseIOReactor.java:104)
    at org.apache.flink.elasticsearch7.shaded.org.apache.http.impl.nio.reactor.AbstractMultiworkerIOReactor$Worker.run(AbstractMultiworkerIOReactor.java:591)
    ... 1 more
Caused by: ElasticsearchException[Elasticsearch exception [type=number_format_exception, reason=For input string: "'2023-06-05-23:59:59@tz'"]]
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.ElasticsearchException.innerFromXContent(ElasticsearchException.java:496)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.ElasticsearchException.fromXContent(ElasticsearchException.java:407)
    at org.apache.flink.elasticsearch7.shaded.org.elasticsearch.ElasticsearchException.innerFromXContent(ElasticsearchException.java:437)
    ... 24 more


 

scan724
关注
专栏目录
ElasticSearch第八讲 ES索引字段映射类型以及动态映射相关操作
程序员路同学
09-04 1483
ElasticSearch第八讲 ES索引字段映射类型以及动态映射相关操作
Elasticsearch Mapping(字段映射)
yutanbo123的博客
08-02 681
Elasticsearch Mapping前言什么是 Mapping二、使用步骤1.引入库2.读入数据总结 前言 Elasticsearch 的 Mapping 对应着数据库的 schema，比数据库的 schema 灵活的是 Mapping 可以是 Dynamic 的，也就是如果不定义 Mapping 还是可以往 ES 里面插入文档的。但是数据库中如果不新建表，是不能插入数据的。 什么是 Mapping 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步
Elasticsearch(015)：es常见的字段映射类型之数字类型(numeric)
01-07
文章目录简介示例注意事项 简介 es支持一下long, integer, short, byte, double, float, half_float, scaled_float常见的数字类型。 示例 #给example索引添加字段映射，默认docs类型 PUT example/docs/_mapping { properties: { id:{ type:long }, name:{ type:keyword }, age:{ type:integer },
ES-映射
蓝天⊙白云的博客
03-16 867
​ 1) Frozen indices（冻结索引）：有些索引使用率很高，会被保存在内存中，有些使用率特别低，宁愿在使用的时候重新创建，在使用完毕后丢弃数据， Frozen indices的数据命中频率小，不适用于高搜索负载，数据不会被保存在内存中，堆空间占用比普通索引少得多，Frozen indices是只读的，请求可能 是秒级或者分钟级。​ ⑨ enable：是否创建倒排索引，可以对字段操作，也可以对索引操作，如果不创建索引，让然可以检索并在_source元数据中展示，谨慎使用，该状态无法 修改。
elasticsearch 字段动态映射
u012463871的博客
03-21 1895
最近在学习 elasticsearch ，学到字段的动态映射，在这里做点小笔记。希望像我这 样的初学者有作用。 三种动态映射方式 elasticsearch 的 mapping ，可以使用动态方式来创建字段的映射，减少手写的静态的 mapping 设置。就是在添加新数据的时候，动态的设置字段的mapping，就是动态地设置字段的类型和属性。 就是使用一定的匹配机制，把匹配上的数据字段，设置这些字段的类型和属性，不用事先手动的写上字段的 mapping。 1 字...
ElasticSearch 基础（五）之 映射
weixin_43844718的博客
03-07 3353
映射（Mapping）是定义文档及其包含的字段如何存储和索引的过程。每个文档都是字段的集合，每个字段都有自己的数据类型。映射数据时，创建映射定义，其中包含与文档相关的字段列表，决定字段使用什么分词器解析，是否有子字段等。映射定义还包括元数据字段，如_source字段，用于自定义如何处理文档的关联元数据。MySQLIndex（索引）Table（数据表）Dcoument（文档）Row（行）Fields（字段）Column（列）在 ES 7.0.0之前，映射定义包含一个类型名。
Elasticsearch基础篇(六)：es映射和常用的字段类型
后端开发
10-23 2727
在 Elasticsearch 中，映射是索引的关键组成部分，它定义了文档的结构和字段。每个文档都包含一个或多个字段，而映射定义了这些字段的数据类型、如何分析文本、字段是否可搜索等信息。映射的主要作用包括：定义字段类型：你可以指定字段是文本、数字、日期、地理位置等数据类型。文本分析：决定如何对文本字段进行分析，例如拆分为单词、去除停用词、转换大小写等。字段是否存储：你可以设置字段是否需要存储原始值，以便在检索时使用。索引选项：控制字段是否被索引，以及如何索引
SpringBoot集成elasticsearch支持字段映射
zhouyuhhu的博客
12-26 5579
SpringBoot集成elasticsearch支持自动@Field别名存储问题问题描述版本列表启动yml文件配置SpringBoot启动类上需要加注解Java持久化对象定义Repository定义最后一个坑解决方案 问题描述 Java代码属性字段多使用驼峰命名法，而mysql、elasticsearch等数据存储系统中字段多采用下划线命名法。mysql使用tk.mybatis+@Column注...
arcgis-elasticSearch-es-矢量数据导入插件-数据建模-mapping-indexsetting-字段映射
06-29
arcgis elasticSearch es 矢量数据导入插件 数据建模 mapping indexsetting 字段映射 索引建模支持geoshape、shape，text索引支持keyword/ngram/edgeNgram/ikSmart，快速导入，兼容multipolygon，带洞，多面，使用时...
7.1-elasticsearch索引中的字段映射
红笺小字
05-25 1109
ES映射(mapping)是定义文档及其包含字段的存储和索引方式的一组过程
Elasticsearch整理笔记（四）
九日王朝
09-25 420
filter组合查询： POSThttp://localhost:9200/order_server/order/_search { "_source":false, "query": { "bool": { "filter": [ {"term":{ "status":1 }}, {"term":{ "extras.student_name":"张三" }}, .
Elasticsearch：如何在导入时忽略格式错误的数据
Elastic 中国社区官方博客
06-17 1656
有时，你对收到的数据没有太多控制权。 一个用户可以发送一个日期形式的 login 字段，另一个用户发送一个电子邮件地址形式的 login 字段。 默认情况下，尝试将错误的数据类型索引到字段中会引发异常，并拒绝整个文档。 ignore_malformed 参数如果设置为 true，则允许忽略异常。 格式错误的字段没有被索引，但是文档中的其他字段被正常处理。 让我们来用一个例子来进行展示。在 Kibana 中，打入如下的数据： PUT my-index-000001 { "mappings": {
01- ElasticSearch（简称ES）- 简介
漂流幻境
10-19 578
ElasticSearch简介 Elasticsearch是用Java开发并且是当前最流行的开源的企业级搜索引擎。 能够达到实时搜索，稳定，可靠，快速，安装使用方便。 客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。 官方网站: https://www.elastic.co/ 下载地址：https://www.elastic.co/cn/start 对比Lucene Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库（框架）
Elasticsearch实践：Setting、Mapping
最新发布
迪之的博客
12-01 1514
在ElasticSearch中，没有专门的数组（Array）数据类型，但是，在默认情况下，任意一个字段都可以包含0或多个值，这意味着每个字段默认都是数组类型，只不过，数组类型的各个元素值的数据类型必须相同。支持 long，integer，short，byte，double，float，half_float，scaled_float。通用的ISO日期格式，其中日期部分是必需的，时间部分是可选的。对于整数类型（byte，short，integer和long）而言，我们应该选择这是足以使用的最小的类型。
ES系列--修改字段映射类型
soso的博客
12-28 3310
前言 之前在没有创建索引模板的时候，直接通过logstash往es里塞数据，其中一些字段的类型并不符合我们需要，这个时候就需要去修改字段的映射类型了。 正文 es不支持直接修改字段类型，解决思路： 新建临时索引，执行字段类型，复制数据 删除旧索引，重建同名索引，从临时索引复制数据 #获取旧索引的字段映射 GET /users/_mapping #创建临时索引带映射 PUT /users_temp { "mappings": { "user": { "properties": {
elasticsearch 数据类型_Elasticsearch 常见的 8 种错误及最佳实践
weixin_39888080的博客
11-21 459
题记 Elasticsearch 社区有大量关于 Elasticsearch 错误和异常的问题。深挖这些错误背后的原因，把常见的错误积累为自己的实战经验甚至是工具，不仅可以节省我们的开发和运维时间，而且可以帮助确保 Elasticsearch 集群的长期健康运行。常见的异常、原因和常规最佳实践拆解如下，这些最佳实践可以帮助我们更有效地识别、最小化定位和处理异常问题。1、 Mapper_p...
Elasticsearch实战：常见错误及详细解决方案
丨汀、的博客
11-02 3071
Elasticsearch实战：常见错误及详细解决方案
Flink运行问题记录，无法入ES，Sink报错
Jomly Kellenda的博客
07-21 1714
2021-07-21 09:48:17 java.lang.OutOfMemoryError: Direct buffer memory. The direct out-of-memory error has occurred. This can mean two things: either job(s) require(s) a larger size of JVM direct memory or there is a direct memory leak. The direct memory ca
ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=Fielddata is
热门推荐
FangWenJuno的博客
02-22 1万+
ElasticsearchStatusException[Elasticsearch exception [type=search_phase_execution_exception, reason=all shards failed] ]; nested: ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=Fielddata is disabled on text fields .
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

scan724

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值