ES集群生产调优笔记
14、ES集群生产调优
1、服务器硬件以及内存调优
1、调整交换区的swap大小
关闭系统的交换区,禁用linux的虚拟内存,尽量让我们的ES禁用虚拟内存,因为如果使用虚拟内存,就会将内存当中过多的数据缓存到磁盘上面去,可以简单理解为就是拿了一块磁盘出来当做内存使用,这样当然性能就会急剧下降,所以在实际工作当中我们一般的都会尽量关闭linux的交换区的内存空间
关闭交换区的空间大小
swapoff -a
如果不能完全禁用swap交换区的空间大小,我们可以调整设置,尽量减少swap的空间,通过调整交换区内存空间大小,来调整我们的交换比例
swappiness参数值可设置范围在0到100之间。 低参数值会让内核尽量少用交换,更高参数值会使内核更多的去使用交换空间。默认值为60
vim /etc/sysctl.conf
vm.swappiness=1
如果没法更改我们的swap的参数值,那么我们也可以在es当中配置,禁止JVM堆内存当中的数据交换到磁盘当中去
cd /wph/install/elasticsearch-6.7.0/config/
vim elasticsearch.yml
bootstrap.memory_lock:true
2、调整普通用户打开文件数以及线程数的限制
普通用户打开文件的最大数限制
ES因为需要大量的创建索引文件,需要大量的打开系统的文件,所以我们需要解除linux系统当中打开文件最大数目的限制,不然ES启动就会抛错
三台机器使用es用户执行以下命令解除打开文件数据的限制
sudo vi /etc/security/limits.conf
- soft nofile 65536
- hard nofile 131072
- soft nproc 2048
- hard nproc 4096
普通用户启动线程数限制
三台机器执行以下命令打开文件最大数
sudo vi /etc/sysctl.conf
vm.max_map_count=655360
fs.file-max=655360
执行以下命令生效
sudo sysctl -p
注意:以上两个问题修改完成之后,一定要重新连接linux生效。关闭secureCRT或者XShell工具,然后重新打开工具连接linux即可
3、调整ES的JVM堆内存大小
官方建议ES的堆内存大小不要超过32GB,超过32GB之后,反而会造成大量的内存的浪费,所以我们在ES当中,JVM堆内存大小,尽量调整成小于32GB,其中堆内存大小与系统内存大小,尽量五五分,例如一台服务器64GB,那么我们可以给ES堆内存大小设置为32GB,剩下的32GB留作OS cache ,当做系统内存留给lucene来使用(因为ES底层也是基于lucene的)
调整堆内存大小的官方建议
https://www.