ELK日志收集分析系统

ELK是Elasticsearch、Logstash、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。

基本组成软件：

1、Filebeat：监控日志文件，获取服务器上指定路径的日志文件，并将这些日志转发到Logstash实例以进行处理。Filebeat的设计是为了可靠性和低延迟。Filebeat在主机上占用的资源很少，而Beats input插件将对Logstash实例的资源需求降到最低。
2、Logstash：它是一个服务端的数据处理管道，可以从多个源中提取数据，对其进行转换，然后将其存储到Elasticsearch中。简单来说就是日志的收集、分析、过滤工具。
3、Kibana：它是一个基于web的图形界面，用于搜索、分析和可视化存储在Elasticsearch中的日志数据。
4、Elasticsearch：它是一个开源分布式搜索引擎，提供收集、分析、存储数据三大功能。

Filebeat安装

1、从Filebeat官网选择你所需的版本，本次安装以Ubuntu为例。

2、右键选择复制链接地址使用wget下载Filebeat.tar.gz压缩包。

3、使用tar -zxf命令解压。

hsl@iZ282hpfj1mZ:~$ tar -zxf filebeat-6.4.0-linux-x86_64.tar.gz 

4、编辑filebeat.yml配置文件
配置文件中有各种输入以及输出，根据自己的需求正确配置。

Logstash安装

logstash需要Java环境，JDK版本不低于1.8，检查你的环Java环境：

java -vsersion

如果Java已经安装，此命令将输出类似于以下内容：

java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server