elasticsearch shard创建过程，查看merge参数传入

最新推荐文章于 2024-07-15 21:29:51 发布
最新推荐文章于 2024-07-15 21:29:51 发布
阅读量1k 收藏
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch merge shard
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengxgs/article/details/78668245
版权
本文深入探讨Elasticsearch的shard创建过程，重点关注merge参数的设定。通过源码分析，揭示了在创建index时如何处理clusterChanged事件，特别是applyNewOrUpdatedShards方法的作用。文中详细介绍了shard的初始化，包括模板应用、状态检查以及merge策略的配置，最终这些参数如何传递给Lucene进行处理。此外，还讨论了Elasticsearch如何使用自己的EngineMergeScheduler以记录merge相关统计信息。
摘要由CSDN通过智能技术生成

今天来翻翻源码，看下merge相关的代码，以及ES是如何处理参数。该文章纯属个人记录，仅供自己参考

相关类：
IndicesClusterStateService
IndexService
IndexShard
InternalEngine
StoreRecoveryService
ConcurrentMergeScheduler
TieredMergePolicy
IndexWriter
MergePolicyConfig
MergeSchedulerConfig
EngineConfig

在创建index时每个节点会收到一个clusterChanged事件响应，响应里面包括了很多事件处理
这里写图片描述

这里写图片描述

其他apply方法暂时不关注，我们看下applyNewOrUpdatedShards这个方法，shard的create和update都会调用这个方法进行处理。

最低0.47元/天 解锁文章
Yuna丶
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【es】使用ElasticSearch的44条建议 性能优化
九师兄
05-26 3788
1.概述 转载：使用ElasticSearch的44条建议 建议去看原文，这里是防丢失 在搜索业务上摸爬滚打3年，使用的Es版本也从1.x升级到了5.x，扮演的角色也逐渐从Es的使用方变为维护方，这里大致汇总了使用Es过程中踩的一些坑以及一些注意事项，也会穿插一下我们的解法。 01 — es中建索引是指创建一个保存数据的目录，用于保存倒排索引，索引创建之后是不可变的（Immutable），只允许新增字段。 因为lucene中field是带类型的，不同类型的字段进入倒排索引后会经过压缩，long/int/.
第6篇: ElasticSearch写操作—原理及近实时性分析(完整版)
老王随聊
05-13 3230
目前国内有大量的公司都在使用 Elasticsearch，包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领域.ElasticSearch写操作—原理及近实时性分析,
ElasticSearch ForceMerge 任务进度跟踪
五哥的酒馆
05-08 2021
1.通过/_cat/indices/ api查看所有index的段情况和当前正在进行merge的文档数。GET /_cat/indices/?s=segmentsCount:desc&v&h=index,segmentsCount,segmentsMemory,memoryTotal,mergesCurrent,mergesCurrentDocs,storeSize,p,...
Elasticsearch Merge合并操作与配置
likui1314159的专栏
11-18 1万+
在elasticsearch中，一个分片就是一个完整的Lucene索引，一个Lucene索引又分解为很多segment，segment作为索引存储数据的底层单位，是不可变的。为了保证segment个数在一定范围之内和物理删除已打删除标记的文档，一些小的segment会周期性的合并为更大的segment。合并线程会根据硬件配置，自动平衡合并操作和其他一些操作（比如查询）。Merge 调度任务合并操作实
【详解】Spring Cloud概述
最新发布
m0_0
07-15 2806
Spring Cloud概述
Elasticsearch forceMerge操作
vincent_duan的专栏
10-27 9303
一个ES索引由若干个分片组成，一个分片有若干个Lucene分段，较大的Lucene分段可以更有效的存储数据。 使用_forcemergeAPI 来对分段执行合并操作，通常，我们将分段合并为一个单个的分段：max_num_segments=1 首先查看我们的index当前有多少个segment： GET _cat/segments/myindex?v&h=shard,segment,size,size.memory 返回结果大约有300个segment条目数。 执行forcemerge：POS
Elasticsearch - Indices stats 获取索引级别的统计信息之十 【merge】合并相关的统计信息
BigManing的博客
02-01 494
文章目录一、获取merge统计信息1、获取所有索引的merge信息2、获取指定索引的merge信息3、获取同类索引的merge信息二、输出结果三、结果详情1、_shards2、_all3、indices 转载请标明出处： https://bigmaning.blog.csdn.net/article/details/113408658 本文出自:【BigManing的博客】 一、获取merge统计信息 合并相关的统计信息 1、获取所有索引的merge信息 http://local.elasticsear
elasticsearch 的Merge
weixin_33857230的博客
01-19 151
一个ES index 包含有多个sharding, sharding 主要用于分布式。 一个sharding里面也可以包含多个segment. es 在indexing 的时候会产生很多的segments。 segments 太多会导致文件句柄浪费严重， 并且搜索性能底下。 ES 自己也会去做merge, 算法和cassandra 的sizeTiered 算法类似（但稍逊一些）。合并后，searc...
Elasticsearch写入速度优化
qq_27639777的博客
05-15 2072
文章目录背景translog flush间隔调整索引刷新间隔refresh_interval段合并优化indexing buffer使用bulk请求bulk线程池和队列并发执行bulk请求磁盘间的任务均衡节点间的任务均衡索引过程调整和优化自动生成doc ID调整字段Mappings调整_source字段禁用_all字段对Analyzed的字段禁用Normsindex_options设置 背景 在ES的默认设置下，是综合考虑数据可靠性、搜索实时性、写入速度等因素的。有时候，业务上对数据可靠性和搜索实时性要求并
ElasticSearch系列 - ElasticSearch读写原理分析
Aaron_涛
03-22 1088
1.写流程 Elasticsearch 是当前主流的搜索引擎，其具有扩展性好，查询速度快，查询结果近实时等优点，本文将对Elasticsearch的写操作进行分析。 1.1.lucene的写操作及其问题 Elasticsearch底层使用Lucene来实现doc的读写操作，Lucene通过 publiclongaddDocument(...); publiclongdelet...
elasticsearch(二): 基础的查询语句，这些查询语句都跑一遍，离入门就差半步了
shunzi2016的博客
01-28 1150
目录 ES 基础操作第一阶段 1、查询es 基础信息 2、/_cat/allocation #查看单节点的shard 分片 分配整体情况 3、/_cat/shards/{index} #查看指定分片的详细情况 4、/_cat/nodes #查看所有节点信息 5、/_cat/indices #查看集群中所有index的详细信息 6、/_cat/indices/{index} #查看集群中指定index的详细信息 7、/_cat/segment...
【Elasticsearch】es查看有问题的索引或者分片
九师兄
10-21 3454
1.概述 转载：https://blog.csdn.net/UbuntuTouch/article/details/108973356 当es集群我们可以使用如下的命令来对集群进行查看： GET _cluster/health?level=indices 上面的命令可以让我们定位到到底是哪一个或者哪一些索引有问题。 上面的命令显示的结果为： 从上面我们可以看出来 restored_logs_4 这个索引是有问题的。它显示的状态为 red，也即是红色。 我们也可以对 shard 进行查询： GET _c.
MongoDB索引
十五十六
02-20 706
文章目录MongoDB索引创建索引语法索引类型单值索引组合索引(Compound Index)多键索引(Multikey Index)地理位置索引(Geospatial Index)全文索引(Text Indexes)通配符索引哈希索引(Hashed Indexes)索引的特性索引管理查看执行计划参考文档 MongoDB索引 索引支持在MongoDB中高效执行查询。如果没有索引，MongoDB通过...
ES性能测试
热门推荐
ukakasu的博客
04-20 1万+
主节点Es-1: 配置8核，6g 调整配置为8核，12g     Node-3：配置为4核，12g Node-4,5：配置为8核，4g  Es-1,2、node-1,2：配置为8核，12g    集群中尽量避免水桶效应；master节点内存应尽量大，否则gc时间过长，    [2017-03-06T08:38:35,604][INFO
Elasticsearch-ForceMerge（一）
weixin_43211119的博客
08-28 2143
4. 强制段合并   代码入口：org.elasticsearch.action.admin.indices.forcemerge.TransportForceMergeAction#shardOperation   对于待合并处理的分片，需要先校验该分片的状态 /** * 判断分片状态是否为STARTED，如果已被关闭或异常，则无法merge */ protected final void verifyActive() throws IllegalIndexShardStateException {
jstack 命令使用经验总结和线程性能诊断脚本
xmt1139057136的专栏
04-04 1734
编辑：业余草来源：https://www.xttblog.com/?p=4946分享一下，jstack 命令使用经验总结jstack 在命令使用上十分简洁, 然而其输出的内容却十分丰富...
lucene源码分析(8)MergeScheduler
12-03 149
1.使用IndexWriter.java mergeScheduler.merge(this, MergeTrigger.EXPLICIT, newMergesFound); 2.定义MergeScheduler /** <p>Expert: {@link IndexWriter} uses an instance * implementing...
一些被elasticsearch高版本废弃的配置(index.merge.policy.type等)
johnhuster的专栏
11-21 1745
elasticsearch近来年越来越受欢迎，es与solr相比，笔者觉得最大的推荐之处就是使用的简易型以及丰富的生态圈，从es release历史来看，18-19年间发布了很多新的版本 入门es的一部不错的书籍，笔者推荐《elasticsearch实战》，不好的一点是该书基于的es版本较低，好像是1.4版本，但是随着es版本的迭代，一些配置就在新版本中删除了，所以在使用es api编程时要注意...
Python Elasticsearch操作指南：从创建索引到数据写入
"这篇文档详细阐述了如何使用Python与Elasticsearch进行交互，从创建索引到写入数据的步骤。主要关注点在于利用Python的Elasticsearch库来操作ES实例，包括设置映射（mappings）以及向索引中添加数据。" 在Python中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值