Elasticsearch
文章平均质量分 69
如果出发
龟速扣代码
大数据开发工程师
展开
-
Elasticsearch基本概念术语(索引,文档,分片等)
使用ES,通常会遇到这个概念, 索引,文档,节点,分片,副本。索引和文档,是偏向开发人员视角,逻辑概念节点,分片,副本等,运维人员可能会偏重点,偏向物理概念。1- 文档(document):是ES 所有可搜索数据的最小单位,它会被序列化成JSON格式(可以包含 不同的类型的字段),保存到ES中。每个文档都有一个UID,可以自己定义,也可以交给系统生成。 1.1- 文档的组成 元数据:用于标注 文档的相关信息 字段: 类似于 关系型数据库的字段,...原创 2021-04-07 10:22:09 · 957 阅读 · 0 评论 -
ES无法工作,CircuitBreakingException
异常现象:ES 无法工作,没办法写入 ES有写shards没有分配 ES pod正常运行中排查思路:查看es-data的日志发现有很多错误日志,关于熔断器CircuitBreakingException[2020-10-18T00:55:22,010][WARN ][o.e.i.c.IndicesClusterStateService] [myproject-elasticsearch-data-0] [index-06-19][10] marking and sending shard原创 2020-12-06 20:43:08 · 1184 阅读 · 0 评论 -
Elasticsearch的CCR过程及其参数解读
概观:复制是索引层面的 复制是active-passive模式,意味着主索引可以写入,而从索引不能直接写入,只能被动的同步主索引的数据 复制是pull-based的模式,是由从集群驱动同步的,对主集群没有影响版本要求: 从集群的版本必须等于或者高于主集群的版本过程解析: 通过remote recovery的功能进行复制,从集群的索引的shards和主集群的索引shards是一样的。复制过程主要分为两个阶段(对应ES写入的两个阶段) Step1--复制远程leader集群...原创 2020-07-06 17:12:47 · 2277 阅读 · 0 评论 -
Elasticsearch数据安全_CCR跨集群备份(Cross Cluster Replication)
需求前提:两个ES集群之间的网络是互通的,可以互相操作的 两个集群都具有CCR的许可证(白银级别,需要付费的服务) 如果打开了安全验证(Elasticsearch security is enabled) 3.1- 对于从集群的索引,用户必须有write,monitor, andmanage_follow_index的权利 3.2- 对于主集群的索引,用户必须有readandmonitor的权利 3.3- 对于整个集群而言,用户必须有...原创 2020-07-06 16:42:13 · 686 阅读 · 0 评论