ELK概念

Elasticsearch 日志存储，高效的分布式搜索和分析引擎

Index：索引 ，一个index 像关系数据库中的database

document ： Row ，一个table中的一行数据

Type：数据库中的一个table

Filed ： table中的一个列

 

物理层面：

Node：每个node运行一个Elasticsearch 实例， 一个Node一个单独的Server

Cluster：Cluster是多个Node集合

Shard：一个index多个shard

---

 

Logstash 日志收集

从日志源采集日志

输入源 ： redis ，mysql ，文件系统，消息队列

输出目标： 可以输出到文本，csv文件 ，s3 ，也可以消息，kafka 、rebbitmq，或者发送到监控

过滤器：grok过滤

---

 

Fluentd 日志收集

客户端、服务器

效率比Logstash高

Kibana 前端展示，日志查询

ELK和Docker ，kafaka 消息队列销峰填谷