ES集群生产调优笔记

14、ES集群生产调优

1、服务器硬件以及内存调优

1、调整交换区的swap大小

关闭系统的交换区，禁用linux的虚拟内存，尽量让我们的ES禁用虚拟内存，因为如果使用虚拟内存，就会将内存当中过多的数据缓存到磁盘上面去，可以简单理解为就是拿了一块磁盘出来当做内存使用，这样当然性能就会急剧下降，所以在实际工作当中我们一般的都会尽量关闭linux的交换区的内存空间
关闭交换区的空间大小
swapoff -a
如果不能完全禁用swap交换区的空间大小，我们可以调整设置，尽量减少swap的空间，通过调整交换区内存空间大小，来调整我们的交换比例
swappiness参数值可设置范围在0到100之间。 低参数值会让内核尽量少用交换，更高参数值会使内核更多的去使用交换空间。默认值为60
vim /etc/sysctl.conf

vm.swappiness=1
如果没法更改我们的swap的参数值，那么我们也可以在es当中配置，禁止JVM堆内存当中的数据交换到磁盘当中去
cd /wph/install/elasticsearch-6.7.0/config/
vim elasticsearch.yml

bootstrap.memory_lock:true

2、调整普通用户打开文件数以及线程数的限制

普通用户打开文件的最大数限制

ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限制，不然ES启动就会抛错
三台机器使用es用户执行以下命令解除打开文件数据的限制
sudo vi /etc/security/limits.conf

• soft nofile 65536
• hard nofile 131072
• soft nproc 2048
• hard nproc 4096

普通用户启动线程数限制

三台机器执行以下命令打开文件最大数
sudo vi /etc/sysctl.conf

vm.max_map_count=655360
fs.file-max=655360
执行以下命令生效
sudo sysctl -p

注意：以上两个问题修改完成之后，一定要重新连接linux生效。关闭secureCRT或者XShell工具，然后重新打开工具连接linux即可

3、调整ES的JVM堆内存大小

官方建议ES的堆内存大小不要超过32GB，超过32GB之后，反而会造成大量的内存的浪费，所以我们在ES当中，JVM堆内存大小，尽量调整成小于32GB，其中堆内存大小与系统内存大小，尽量五五分，例如一台服务器64GB，那么我们可以给ES堆内存大小设置为32GB，剩下的32GB留作OS cache ，当做系统内存留给lucene来使用（因为ES底层也是基于lucene的）
调整堆内存大小的官方建议
https://www.