3.elasticsearch 索引存储深入详解

转载 2018年04月17日 11:39:20

1、关于ES index存储在内存的问题?

(1)早期ES1.X版本对ES索引存储介绍:

原文地址: 
https://www.elastic.co/guide/en/elasticsearch/reference/1.4/index-modules-store.html 
ES1.X存储模块可以控制索引数据的存储方式,索引可以存储在内存和磁盘上。使用内存方式可以得到更好的性能,但受限于实际的可用的物理内存大小。 
早期ES1.X版本有选项将索引存储到内存中,但是相比基于mmap的存储方式,这种方式并没有改善性能,所以在ES2.X版本中Memory存储类型已经被删除。

(2)最新的ES2.X版本(截止:2016-08-08)索引存储介绍:

原文地址: 
https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-store.html 
ES2.X版本中该Memeory选项已经被删除。 
现在ES2.X中在内存中映射索引使用mmap 系统调用。 
并且ES的大牛也都推荐就索引存储而言,使用缺省默认值default_fs。

这里写图片描述

2、ES2.X文件系统存储类型

基于文件系统的存储是默认索引存储方式。有不同的实现或存储类型。最好的一个操作系统的自动选择是:mmapfs使用在Windows的64bit系统上,simplefs使用在windows的32bit系统上,除此之外默认是用(hybrid niofs 和 mmapfs)。

可以通过修改配置文件elasticsearch.yml来指定存储类型: 
index.store.type: niofs

当然也可以在创建索引的时候指定:

curl -XPUT localhost:9200/my_index -d '{
  "settings": {
  "index.store.type": "niofs"
  }
}';
  • 1
  • 2
  • 3
  • 4
  • 5

下面是所有支持的不同存储类型:

(1) Simple FS(简单文件系统)

Simplefs类型是一个简单的实现随机访问文件的文件存储系统(映射到Lucene SimpleFsDirectory的)。该实现的并发性能较差(多线程是个瓶颈)。当你需要将索引持久化,最好使用niofs。

(2) NIO FS(NIO文件系统)

niofs类型是通过NIO将分片索引文件写到文件系统上(映射到Lucene NIOFSDirectory)。它允许多线程同时读取文件。不建议在Windows系统上使用,由于SUN JAVA实现上的一个错误。

(3) MMap FS(内存映射文件系统)

mmapfs类型存储分片索引到文件系统上(映射到Lucene MMapDirectory)通过映射文件到内存中(MMAP)。 
内存映射的过程中将划分出与被映射文件大小一样的虚拟内存空间。使用这个类之前,请确保您有足够的虚拟地址空间。

Linux下虚拟内存设置:

 # sysctl -w vm.max_map_count=262144
  • 1

永久生效:

 update the vm.max_map_count setting in /etc/sysctl.conf.
  # echo "vm.max_map_count=262144" >> /etc/sysctl.conf && sysctl -p
  • 1
  • 2

(4)Hybrid MMap / NIO FS(缺省值, default_fs)

default_fs默认的类型是NIO FS和MMapFS,它将为每个类型的文件选择最好的文件系统。 目前,只有Lucene的term 路径和DOC值的文件被存储器映射,以降低运行系统的影响。所有其他文件都使用Lucene NIOFSDirectory打开。如果你的term字典很大,地址空间设置(部分叫做“虚拟内存编辑“)也可能适用,。

3、ES索引存储小结

一句话总结: 
在2.X版本,用户无需关注索引存储在内存中还是存储在硬盘中。使用默认的存储设置default_fs,以达到最优性能 
在Windows的64bit系统上使用 mmapfs ; 
在windows的32bit系统上使用 simplefs ; 
除此之外默认使用 default_fs (hybrid niofs 和 mmapfs),如Linux系统。

4、细节讨论

https://discuss.elastic.co/t/how-to-set-elasticsearch-index-store/57556/2

SQL Server 2014 索引和游标

主讲内容: 第一讲 课程简介 第二讲 索引简介 第三讲 创建索引 第四讲 查看索引 第五讲 索引管理 第六讲 全文索引 等课程
  • 2017年01月19日 11:00

深入浅出数据库索引原理

深入浅出数据库索引原理 前段时间,公司一个新上线的网站出现页面响应速度缓慢的问题, 一位负责这个项目的但并不是搞技术的妹子找到我,让我想办法提升网站的访问速度 ,因为已经有很多用户来投诉了。我第...
  • weizhiai12
  • weizhiai12
  • 2017-04-03 17:20:38
  • 1124

《深入解析Oracle》学习笔记(6)---Oracle体系结构之存储结构

Oracle 存储结构 物理存储结构 逻辑储存结构
  • kanon_lgt
  • kanon_lgt
  • 2010-10-29 13:44:00
  • 1075

MySQL 深入理解索引B+树存储 (二)

出处:http://blog.codinglabs.org/articles/theory-of-mysql-index.html 摘要 本文以MySQL数据库为研究对象,讨论...
  • qq_33599978
  • qq_33599978
  • 2017-10-27 20:02:50
  • 604

深入Lucene的索引文件

来自:http://extjs2.iteye.com/blog/1389090 Lucene的索引里面存了些什么,如何存放的,也即Lucene的索引文件格式,是读懂Lucene源代码的一把钥...
  • ArvinStudy
  • ArvinStudy
  • 2013-03-18 14:42:15
  • 2028

深入理解Oracle索引(8):如何进行索引监控分析和优化

在生产环境、我们会发现:     ① 索引表空间 I/O 非常高     ② "db file sequential read" 等待事件也比较高   这种迹象表明、整个数据库系统、索引的读写操作比较...
  • linwaterbin
  • linwaterbin
  • 2013-04-15 17:57:54
  • 4479

elasticsearch 索引存储深入详解

1、关于ES index存储在内存的问题?(1)早期ES1.X版本对ES索引存储介绍:原文地址: https://www.elastic.co/guide/en/elasticsearch/refe...
  • wojiushiwo987
  • wojiushiwo987
  • 2016-08-09 20:57:57
  • 11845

数据库_MySQL_由浅入深理解索引的实现

这篇文章是介绍MySQL数据库中的索引是如何根据需求一步步演变最终成为B+树结构的以及针对B+树索引的查询,插入,删除,更新等操作的处理方法。Oracle和DB2数据库索引的实现基本上也是大同小异的。...
  • u010003835
  • u010003835
  • 2016-06-02 07:59:56
  • 3362

SQL Server 深入解析索引存储(下)

标签:SQL SERVER/MSSQL SERVER/数据库/DBA/索引体系结构/非聚集索引 概述   非聚集索引与聚集索引具有相同的 B 树结构,它们之间的显著差别在于以下两点: ...
  • cmh200704
  • cmh200704
  • 2016-03-17 09:35:32
  • 874

深入了解MySQL的索引(一)

(一)关于存储引擎               创建合适的索引是SQL性能调优中最重要的技术之一。在学习创建索引之前,要先了解MySql的架构细节,包括在硬盘上面如何组织的,索引和内存用法和操作方式,...
  • qq_27291877
  • qq_27291877
  • 2015-05-06 21:42:06
  • 804
收藏助手
不良信息举报
您举报文章:3.elasticsearch 索引存储深入详解
举报原因:
原因补充:

(最多只允许输入30个字)