Elasticsearch
-
节点,主分片和副本
- 有哪些不同类型的节点
- 主分片和分片副本的作用
-
相关API介绍-查看集群的健康状态/ Cat API /查看settings
-
使用Kibana和Cerebro工具查看集群的状况
分布式系统的可用性与扩展性
-
高可用性
- 服务可用性-允许有节点停止服务
- 数据可用性一部分节点丢失,不会丢失数据.
-
可扩展性
- 请求量提升/数据的不断增长(将数据分布到所有节点上)
分布式特性
-
Elasticsearch 的分布式架构的好处
- 存储的水平扩:容
- 提高 系统的可用性,部分节点停止服务,整个集群的服务不受影响
-
Elasticsearch的分布式架构
- 不同的集 群通过不同的名字来区分,默认名字“elasticsearch”
- 通过配 置文件修改,或者在命令行中-E cluster .name=geektime进行设定
- 一个集群可以有一个或者多个节点
节点
-
节点是一个 Elasticsearch的实例
- 本质上就是一个 JAVA进程
- 一 台机器上可以运行多个Elasticsearch进程,但是生产环境一般建议一 台机器上只运行一个Elasticsearch实例
-
每一个节点都有名字, 通过配置文件配置,或者启动时候 -E node.name=node1指定
-
每一个节点在启动之后,会分配一个UID,保存在data目录下
Master- eligible nodes和Master Node
-
每个节点启动后, 默认就是一个Master eligible节点
- 可以设 置node.master: false禁止
-
Master- eligible节 点可以参加选主流程,成为Master 节点
-
当第一个节点启动时候,它会将自己选举成Master节点
-
每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态信息
- 集群状态 (Cluster State),维护了一一个集群中,必要的信息
- 所有的节点信息
- 所有的索引|和其相关的Mapping与Setting 信息
- 分片的路由信息
- 集群状态 (Cluster State),维护了一一个集群中,必要的信息
Data Node & Coordinating Node
-
Data Node
- 可以保存 数据的节点,叫做Data Node。负责保存分片数据。在数据扩展上起到了至关重要的作用
-
Coordinating Node
- 负 责接受Client的请求,将请求分发到合适的节点,最终把结果汇集到一起
- 每个节 点默认都起到了Coordinating Node的职责
其他的节点类型
-
Hot&WarmNode
- 不同硬件配置的DataNode,用来实现Hot&Warm架构,降低集群部署的成本
-
Machine L earning Node
- 负责跑机器学习的Job,用来做异常检测
-
Tribe Node
- (5.3 开始使用Cross Cluster Serarch) Tribe Node连接到不同的Elasticsearch集群,并且支持将这些集群当成一个单独的集群处理
配置节点类型
- 开发环境中一个节点可以承担多种角色.
- 生产环境中,应该设置单一的角色的节点(dedicated node)
分片(Primary Shard & Replica Shard)
-
主分片,用以解决数据水平扩展的问题。通过主分片,可以将数据分布到集群内的所有节点之上
- 一个分片是一个运行的Lucene的实例
- 主分片数在索引创建时指定,后续不允许修改,除非Reindex
-
副本,用以解决数据高可用的问题。分片是主分片的拷贝
- 副本分片数,可以动态题调整
- 增加副本数,还可以在一定程度上提高服务的可用性(读取的吞吐)
分片(Primary Shard & Replica Shard)
- 一个三节 点的集群中,blogs 索引的分片分布情况
- 思考:增加一个节点或改大主分片数对系统的影响?
分片的设定
- 对于生产环境中分片的设定,需要提前做好容量规划
-
分片数设置过小
+ 导致后续无法增加节 点实现水品扩展
+ 单个分片的数据量太大,导致数据重新分配耗时 -
分片 数设置过大,7.0 开始,默认主分片设置成1,解决 了over-sharding的问题
+ 影响搜索结果的相关性打分,影响统计结果的准确性
+ 单个节点上过多的分片, 会导致资源浪费,同时也会影响性能
-