windows下安装Logstash-7.3.2
Logstash 是开源的服务器端数据处理管道, 能够动态地采集、转换和传输数据,不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构。
一、Logstash原理
Logstah处理事件有三个阶段:input、filter、output。
1. input
产生事件,常见的input有file、beats。
2. filter
结合条件语句对符合标准的事件进行处理。
- grok:解析和结构化任何文本。Grok目前是logstash最好的方式对非结构化日志数据解析
成结构化和可查询化。 - mutate:在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段。
- drop:完全丢弃事件,如debug事件
- clone:复制事件,可能添加或者删除字段。
- geoip:添加有关IP地理位置信息。
3. output
output是logstash管道的最后一个阶段,一个事件可以经过多个output。但是一旦所有输出
处理完,该事件已经执行完。常用的output有elasticsearch、file。