三节点ElasticSearch+kibana安装记录及与Rancher对接

---

三节点ElasticSearch+kibana安装记录及与Rancher对接

1. 集群安装环境说明

操作系统	IP地址	角色	软件版本
centos7.6	192.168.10.68	ES01	elasticsearch7.3
centos7.6	192.168.10.69	ES02	elasticsearch7.3
centos7.6	192.168.10.75	ES03/kibana	elasticsearch7.3/kibana7.3

2. 软件包安装说明

elasticsearch及kibana的软件安装方式有两种（本次我们使用rpm包方式安装）：

• 方式1：直接下载tar.gz包，然后解压后直接进入config目录好配置文件（yaml文件），再进入bin启动即可，但是此种方式安装的软件不受systemd管理，因此需要自己在rc.local里写好自启动命令。
• 方式2：rpm包形式安装，下载rpm包直接安装，安装完后会在固定目录内配置相关配置文件，安装完后elasticsearch及kibana的服务受systemd管理，较为方便，需要注意的是elasticsearch依赖jdk环境，基于tar.gz包安装elasticsearch软件含有jdk环境，如果是基于rpm包安装的话需要先安装jdk环境，否则elasticsearch无法正常启动！

• rpm包安装说明地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.3/rpm.html
  https://www.elastic.co/guide/en/kibana/7.3/rpm.html
• rpm包下载链接地址：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.2-x86_64.rpm
  wget https://artifacts.elastic.co/downloads/kibana/kibana-7.3.2-x86_64.rpm
• 官方文档地址：https://www.elastic.co/guide/en/elastic-stack/current/installing-elastic-stack.html

本安装文档暂不涉及到 elasticsearch的优化步骤，优化设置将会单独用一篇文章阐述！

3. 安装步骤

3.1. 操作系统优化（每个节点操作）

   #关闭selinux：
     sed -i 's/enforcing/disabled/' /etc/selinux/config
     setenforce 0
     
     # 关闭防火墙：
     systemctl stop firewalld && systemctl disable firewalld
     
     # 关闭NetworkManager
     systemctl stop NetworkManager && systemctl disable NetworkManager
     
     # 修改最大文件打开数
     cat >> /etc/security/limits.conf <<EOF
     * soft nofile 65535
     * hard nofile 65536
     EOF
     
     #修改单进程最大线程数
       vim /etc/sysctl.conf
      增加 vm.max_map_count=262144

3.2. 安装包下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.2-x86_64.rpm
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.3.2-x86_64.rpm

• 安装elasticsearch软件包（三个节点执行）
  

3.3. 在线安装openjdk1.8

3.4. ** 配置java环境变量**

在/etc/profile文件里增加如下几行。

 # set java environment  
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-0.el7_6.x86_64
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME  CLASSPATH  PATH 

文件保存后执行

source /etc/profile

3.5. 配置elasticsearch集群

RPM包安装方式的elasticsearch默认的配置文件路径为

/etc/elasticsearch/elasticsearch.yml

yaml配置文件修改说明如下：

# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#(这里自定义集群名称)
cluster.name: zyl-es
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#（这里根据所在节点主机名自定义）
node.name: es02
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#（这里自定义数据路径及日志路径）
path.data: /var/lib/elasticsearch
#
# Path to log files:
#
path.logs: /var/log/elasticsearch
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#（定义本节点IP地址）
network.host: 192.168.10.69
#
# Set a custom port for HTTP:
#（定义访问端口-用默认9200即可）
http.port: 9200
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when this node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#（定义三个节点主机名，服务启动后elasticsearch会自动去发现集群节点）
discovery.seed_hosts: ["es01", "es02","es03"]
#
# Bootstrap the cluster using an initial set of master-eligible nodes:
#（定义哪些节点可被选举为master，这里我定义了三个）
cluster.initial_master_nodes: ["es01", "es02","es03"]
#
# For more information, consult the discovery and cluster formation module documentation.

3.6. 启动elasticsearch服务

systemctl  start elasticsearch && systemctl enable elasticsearch

3.7. 查看elasticsearch集群状态

http://192.168.10.75:9200/_cat/nodes?v

集群启动完毕，master节点在es01机器上。

3.8. 安装配置kibana

rpm包方式安装kibana

3.9. 修改kibana配置文件

vim /etc/kibana/kibana.yml 

3.10. 启动kibana

systemctl start kibana && systemctl enable kibana 

4. Rancher集群开启日志收集

4.1. 进入集群及集群下的项目

4.2. 进入工具菜单下的日志

4.3. 对接elasticsearch集群

4.4. 配置ES集群地址及索引名称

4.5. Rancher自动部署日志采集组件

5. Kibana展示设置

5.1. kibana增加索引

这里可以使用product-k8s_lms-*不指定某一天日志

5.2. 日志查看