ELK 是 ElasticSearch、 LogStash、 Kibana 三个开源工具的简称,现在还包括 Beats,其分工如下:
- LogStash/Beats: 负责数据的收集与处理
- ElasticSearch: 一个开源的分布式搜索引擎,负责数据的存储、检索和分析
- Kibana: 提供了可视化的界面。负责数据的可视化操作
基于 ELK Stack 可以构建日志分析平台、数据分析搜索平台等非常有用的项目
elk的使用流程图如下所示,比价容易理解
- 数据源,数据源可以有很多种,比如搜集各类日志,redis中的数据,或者消息队列中的消息数据等
- logstash中定义数据源的输入输出规则,可以在logstash中定义输入来源地址,定义输出到es中的索引名称,type类型等配置信息
- es负责数据的存储,这里的数据可以持久化存储,大数据分析的时候也可以不必持久化存储
- Kibana对需要分析的数据进行可视化界面的展示,可以通过配置插件进行友好更加人性化的数据展示