分片和副本机制
- index 包含多个 shard,创建 index 时可以在settings中设置分片数,不设置时默认是5个。
- 每个 shard 都是一个最小工作单元,承载部分数据;每个 shard 都是一个 lucene 实例,并且具有完整的建立索引和处理能力。
- 增减节点时,shard 会自动在 nodes 中负载均衡。
- primary shard(主分片) 和 replica shard(副本分片),每个 document 肯定只存在于某一个 primary shard 以及对应的 replica shard 中,不可能存在于多个 primary shard 。
- replica shard 是 primary shard 的副本,负责容错,以及承担读请求负载。
- primary shard 的数量在创建索引的时候就固定了,不可更改;replica shard 的数量可以随时修改。原理查看 Elasticsearch 对文档操作时的分片交互过程分析——路由文档到片
- primary shard 的默认数量是5,replica 默认是1,默认有10个 shard,5个 primary shard ,5个 replica shard 。
- primary shard 不能和自己的 replica shard 放在同一个节点上,否则节点宕机,primary shard 和副本都丢失,容错机制将失效;但是可以和其他 primary shard 的 replica shard 放在同一个节点上。
单节点环境下创建索引分析
PUT /myindex
{
"settings": {
"number_of_shards": 3,
"number_of_replica": 1
}
}
# 查看集群健康状态 --- 将返回yellow,说明集群状态不健康
GET _cat/health
此时,因为是单节点环境,3个 primary shard 只能分配到这个仅有的 node 上,另外3个 replica shard 是无法分配的(一个 shard 的副本 replica,两个是不能在同一个节点),集群可以正常工作;但出现宕机,数据全部丢失,而且集群不可用,无法接受任何请求。
两个节点环境下创建索引分析
将3个 primary shard 分配到一个 node 上,另外3个 replica shard 分配到另一个节点上;
primary shard 和 replica shard 保持同步;
primary shard 和 replica shard 都可以处理客户端的读请求。