elasticsearch shard创建过程，查看merge参数传入

最新推荐文章于 2024-08-17 19:48:03 发布
最新推荐文章于 2024-08-17 19:48:03 发布
阅读量1k 收藏
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch merge shard
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengxgs/article/details/78668245
版权
本文深入探讨Elasticsearch的shard创建过程，重点关注merge参数的设定。通过源码分析，揭示了在创建index时如何处理clusterChanged事件，特别是applyNewOrUpdatedShards方法的作用。文中详细介绍了shard的初始化，包括模板应用、状态检查以及merge策略的配置，最终这些参数如何传递给Lucene进行处理。此外，还讨论了Elasticsearch如何使用自己的EngineMergeScheduler以记录merge相关统计信息。
摘要由CSDN通过智能技术生成

今天来翻翻源码，看下merge相关的代码，以及ES是如何处理参数。该文章纯属个人记录，仅供自己参考

相关类：
IndicesClusterStateService
IndexService
IndexShard
InternalEngine
StoreRecoveryService
ConcurrentMergeScheduler
TieredMergePolicy
IndexWriter
MergePolicyConfig
MergeSchedulerConfig
EngineConfig

在创建index时每个节点会收到一个clusterChanged事件响应，响应里面包括了很多事件处理
这里写图片描述

这里写图片描述

其他apply方法暂时不关注，我们看下applyNewOrUpdatedShards这个方法，shard的create和update都会调用这个方法进行处理。

最低0.47元/天 解锁文章
Yuna丶
关注
专栏目录
【es】使用ElasticSearch的44条建议 性能优化
九师兄
05-26 3817
1.概述 转载：使用ElasticSearch的44条建议 建议去看原文，这里是防丢失 在搜索业务上摸爬滚打3年，使用的Es版本也从1.x升级到了5.x，扮演的角色也逐渐从Es的使用方变为维护方，这里大致汇总了使用Es过程中踩的一些坑以及一些注意事项，也会穿插一下我们的解法。 01 — es中建索引是指创建一个保存数据的目录，用于保存倒排索引，索引创建之后是不可变的（Immutable），只允许新增字段。 因为lucene中field是带类型的，不同类型的字段进入倒排索引后会经过压缩，long/int/.
第6篇: ElasticSearch写操作—原理及近实时性分析(完整版)
老王随聊
05-13 3236
目前国内有大量的公司都在使用 Elasticsearch，包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领域.ElasticSearch写操作—原理及近实时性分析,
ElasticSearch ForceMerge 任务进度跟踪
五哥的酒馆
05-08 2033
1.通过/_cat/indices/ api查看所有index的段情况和当前正在进行merge的文档数。GET /_cat/indices/?s=segmentsCount:desc&v&h=index,segmentsCount,segmentsMemory,memoryTotal,mergesCurrent,mergesCurrentDocs,storeSize,p,...
Elasticsearch Merge合并操作与配置
likui1314159的专栏
11-18 1万+
在elasticsearch中，一个分片就是一个完整的Lucene索引，一个Lucene索引又分解为很多segment，segment作为索引存储数据的底层单位，是不可变的。为了保证segment个数在一定范围之内和物理删除已打删除标记的文档，一些小的segment会周期性的合并为更大的segment。合并线程会根据硬件配置，自动平衡合并操作和其他一些操作（比如查询）。Merge 调度任务合并操作实
Spring Cloud 入门，一篇搞定！
最新发布
hooheha的博客
08-17 674
SpringCloud是目前国内使用最广泛的微服务框架。官网地址：https://spring.io/projects/spring-cloud。SpringCloud集成了各种微服务功能组件，并基于SpringBoot实现了这些组件的自动装配，从而提供了良好的开箱即用体验。原理流程：Ribbon 通过 @LoadBalanced 注解标记了 RestTemplate 工具类，所以 Ribbon 就会去拦截 RestTemplate 所发起的 HTTP 请求，并做出一系列对策。
Elasticsearch forceMerge操作
vincent_duan的专栏
10-27 9327
一个ES索引由若干个分片组成，一个分片有若干个Lucene分段，较大的Lucene分段可以更有效的存储数据。 使用_forcemergeAPI 来对分段执行合并操作，通常，我们将分段合并为一个单个的分段：max_num_segments=1 首先查看我们的index当前有多少个segment： GET _cat/segments/myindex?v&h=shard,segment,size,size.memory 返回结果大约有300个segment条目数。 执行forcemerge：POS
Elasticsearch - Indices stats 获取索引级别的统计信息之十 【merge】合并相关的统计信息
BigManing的博客
02-01 495
文章目录一、获取merge统计信息1、获取所有索引的merge信息2、获取指定索引的merge信息3、获取同类索引的merge信息二、输出结果三、结果详情1、_shards2、_all3、indices 转载请标明出处： https://bigmaning.blog.csdn.net/article/details/113408658 本文出自:【BigManing的博客】 一、获取merge统计信息 合并相关的统计信息 1、获取所有索引的merge信息 http://local.elasticsear
elasticsearch 的Merge
weixin_33857230的博客
01-19 152
一个ES index 包含有多个sharding, sharding 主要用于分布式。 一个sharding里面也可以包含多个segment. es 在indexing 的时候会产生很多的segments。 segments 太多会导致文件句柄浪费严重， 并且搜索性能底下。 ES 自己也会去做merge, 算法和cassandra 的sizeTiered 算法类似（但稍逊一些）。合并后，searc...
Elasticsearch写入速度优化
qq_27639777的博客
05-15 2078
文章目录背景translog flush间隔调整索引刷新间隔refresh_interval段合并优化indexing buffer使用bulk请求bulk线程池和队列并发执行bulk请求磁盘间的任务均衡节点间的任务均衡索引过程调整和优化自动生成doc ID调整字段Mappings调整_source字段禁用_all字段对Analyzed的字段禁用Normsindex_options设置 背景 在ES的默认设置下，是综合考虑数据可靠性、搜索实时性、写入速度等因素的。有时候，业务上对数据可靠性和搜索实时性要求并
ElasticSearch系列 - ElasticSearch读写原理分析
Aaron_涛
03-22 1093
1.写流程 Elasticsearch 是当前主流的搜索引擎，其具有扩展性好，查询速度快，查询结果近实时等优点，本文将对Elasticsearch的写操作进行分析。 1.1.lucene的写操作及其问题 Elasticsearch底层使用Lucene来实现doc的读写操作，Lucene通过 publiclongaddDocument(...); publiclongdelet...
Es 查看集群详细信息
若无梦何远方
10-30 2582
/_cat/allocation #查看单节点的shard分配整体情况 /_cat/shards #查看各shard的详细情况 /_cat/shards/{index} #查看指定分片的详细情况 /_cat/master #查看master节点信息 /_cat/nodes #查看所有节点信息 /_cat/indices #查看集群中所有index的详细信息 /_cat/indices/{index} #查看集群中指定.
ElasticSearch---查询es集群状态、分片、索引
一生编程，快乐编程
06-06 1965
查看es集群状态： curl -XGET http://localhost:9200/_cat/health?v 如果?后面加上pretty，能让返回的json格式化。 加上?v的返回结果，如下： epoch timestamp cluster status node.total node.data shards pri relo init unassign pendi...
ES-08-ElasticSearch数据分片（shard）
csdn_yasin的博客
02-24 6522
说明 ElasticSearch数据分片（shard） 创建多分片索引、更改多分片索引副本分片数量、路由计算和分片控制 官方文档：https://www.elastic.co/cn/ 核心概念 》什么是数据分片（shard）？ 一个分片是一个底层的工作单元 ，它仅保存了全部数据中的一部分，一个分片是一个Lucene的实例，它本身就是一个完整的搜索引擎。我们的文档被存储和索引到分片内，但是应用程序是直接与索引而不是与分片进行交互。 Elasticsearch 是利用分片将数据分发到集群内各处的。分片是数
ES性能测试
热门推荐
ukakasu的博客
04-20 1万+
主节点Es-1: 配置8核，6g 调整配置为8核，12g     Node-3：配置为4核，12g Node-4,5：配置为8核，4g  Es-1,2、node-1,2：配置为8核，12g    集群中尽量避免水桶效应；master节点内存应尽量大，否则gc时间过长，    [2017-03-06T08:38:35,604][INFO
lucene源码分析(8)MergeScheduler
12-03 149
1.使用IndexWriter.java mergeScheduler.merge(this, MergeTrigger.EXPLICIT, newMergesFound); 2.定义MergeScheduler /** <p>Expert: {@link IndexWriter} uses an instance * implementing...
一些被elasticsearch高版本废弃的配置(index.merge.policy.type等)
johnhuster的专栏
11-21 1749
elasticsearch近来年越来越受欢迎，es与solr相比，笔者觉得最大的推荐之处就是使用的简易型以及丰富的生态圈，从es release历史来看，18-19年间发布了很多新的版本 入门es的一部不错的书籍，笔者推荐《elasticsearch实战》，不好的一点是该书基于的es版本较低，好像是1.4版本，但是随着es版本的迭代，一些配置就在新版本中删除了，所以在使用es api编程时要注意...
elasticsearch merge
thinker
12-17 1608
这两周主要看了下 Elasticsearch（其实是Lucene）的 segments 的 merge 流程。事情起因是，线上的ES有些大索引，其中的segments 个数几十个，每个大小100M+，小 segments 若干，而遇到问题就是这些大的 segments 不再做 merge 了，除非强制进行forceMerge 操作，由于我们第一次ES上线，其实也不清楚这究竟是个问题还是本来 Luc...
【elasticsearch】 es状态查看节点分片信息：/_cat/shards
azezeze的博客
07-13 3719
es查看节点分片信息
Python Elasticsearch操作指南：从创建索引到数据写入
"这篇文档详细阐述了如何使用Python与Elasticsearch进行交互，从创建索引到写入数据的步骤。主要关注点在于利用Python的Elasticsearch库来操作ES实例，包括设置映射（mappings）以及向索引中添加数据。" 在Python中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值