ELK安装与配置

ELK安装

前提

1、虚拟机安装
2、配置jdk
3、安装所需的安装包
如下：
elasticsearch-6.2.2.tar.gz
elasticsearch-head-master.zip
kibana-6.2.2-linux-x86_64.tar.gz
logstash-6.2.2.tar.gz
node-v8.9.1-linux-x64.tar.gz
elasticsearch-analysis-ik-6.2.2

在根目录创建software目录，将所需文件拖进去，便于解压与查找
mkdir /software，然后将上述文件拖进software

Elasticsearch安装

解压安装包

解压至opt目录下，并重命名为es6

tar -zxvf elasticsearch-6.2.2.tar.gz -C /opt
mv elasticsearch-6.2.2/ es6

ES配置

1、修改主机名，并修改主机列表

hostnamectl set-hostname 主机名

可用hostname命令查看是否更改成功
vi /etc/hosts
在尾行输入主机IP地址 主机名
保存退出

2、配置es参数

vi /opt/es6/config/elasticsearch.yml

进入后添加如下配置

cluster.name: #集群名
node.name: #节点名
node.master: #是否为主节点 true/false
network.host: #本机IP地址
discovery.zen.ping.unicast.hosts: [] #[]内输入IP地址或主机名，要加双引号
http.cors.enabled: true
http.cors.allow-origin: "*"

注意：添加文本时，在：后一定要加空格，否则会报错！

3、配置系统参数
①vi /etc/sysctl.conf
插入如下内容：

vm.max_map_count=655360

插入完成后，保存退出，并即时刷新，刷新命令如下

sysctl -w vm.max_map_count=655360

如下：

②vi /etc/security/limits.conf
插入如下内容：

* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096

4、新建用户并修改所属
这一步的原因在于：ES不能使用root启动！
新建命令如下：

useradd es
passwd es

这里需要我们给新用户es设置密码，请按自己实际情况来操作

修改es6目录的属组

chown -R es:es es6

可通过ll查看

到此，es配置完成

启动ES

输入su 用户名，切换到刚才新建的普通用户

在/opt/es6目录下输入./bin/elasticsearch

当底部出现started则表示启动成功
图片如下：

还可以去浏览器输入本机IP地址:9200，可以正常出页面，且有节点的信息，即是启动成功！
页面如下：

head-master及node安装

让es处于开启状态，在新的页面进行操作

解压head-master

由于这里head-master是zip文件，所以我们需要unzip来解压。如果没有装unzip工具，这里要先安装一下。
安装命令：yum install -y unzip
安装好之后进行如下操作

unzip elasticsearch-head-master.zip
mv elasticsearch-head-master /opt
#将elasticsearch-head-master移动opt目录下
cd /opt
#切换到opt目录
mv elasticsearch-head-master/ head
#重命名叫head

解压node

tar -zxvf node-v8.9.1-linux-x64.tar.gz -C /opt
#将node-v8.9.1-linux-x64解压到opt目录下
cd /opt
mv node-v8.9.1-linux-x64/ node8
#将node-v8.9.1-linux-x64重命名为node8

配置

1、配置环境变量
vi /etc/profile
添加

export NODE_HOME=/opt/node8
export PATH=$PATH:$NODE_HOME/bin

如PATH已配置，则直接在:PATH前添加:$NODE_HOME/bin
最后的配置文件如下：

export JAVA_HOME=/opt/jdk1.8.0_221 #这里是jdk的路径
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin #初始路径
export NODE_HOME=/opt/node8 #这里是node的路径
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$NODE_HOME/bin:$PATH

配置完成后，source /etc/profile，可通过 node -v查看

2、
切换到opt下的head目录cd /opt/head

npm install -g grunt-cli 

如果npm install出错或者长时间卡顿，则强行中止并输入:

npm install phantomjs-prebuilt@2.1.14 --ignore-scripts

3、
vi Gruntfile.js
然后在下面这个段落位置添加：hostname: '*',

connect: {
    server: {
        options: {
            port: 9100,
            hostname: '*',     <---添加内容到此位置
            base: '.',
            keepalive: true
        }
    }
}

4、
vi _site/app.js
找到如下代码，并进行修改：(大约在4360行)

this.base_uri =this.config.base_uri ||this.prefs.get("app-base_uri") || "http://localhost:9200";

修改成为:
this.base_uri =this.config.base_uri ||this.prefs.get("app-base_uri") || "http://本机IP地址:9200";

启动

启动命令如下：npm run start
在浏览器输入http://IP地址:9100/可以查看是否启动成功
注意！ es需要处于开启状态，否则这里会报错，无法启动

使用hm对es测试

1．点击索引页签，点击新建索引
2．点击总览页签，即可查看索引的情况

kibana

1、解压并重命名
解压至opt目录下，并重命名为kibanacd /software

tar -zxvf kibana-6.2.2-linux-x86_64.tar.gz -C /opt
cd opt
mv kibana-6.2.2-linux-x86_64/ kibana

2、配置
进入kibana目录cd /opt/kibana
输入vi config/kibana.yml
添加：

server.host: "本机IP地址" 
elasticsearch.url: "http://本机IP地址:9200"

3、启动kibana
在kibana目录下输入bin/kibana，即可启动
浏览器输入http://本机IP地址:5601

可以使用dev tools进行更多对数据的处理

logstash

1、解压并重命名
解压至opt目录下，并重命名为kibanacd /software

tar -zxvf logstash-6.2.2.tar.gz -C /opt
cd /opt
mv logstash-6.2.2/ logstash

测试
进入/opt/logstash目录：
在该目录下
输入：./bin/logstash -e ‘input { stdin{} } output { stdout{} }’ 来测试logstash是否正常工作
输入：./bin/logstash -e ‘input { stdin{} } output { stdout{ codec => json } }’ 把控制台输入的数据转换成json格式的数据，也可以替换成rubydebug类型的