windows下安装filebeat-7.3.2

windows下安装filebeat-7.3.2

filebeat轻量型日志采集器

ELK日志采集方案中通常使用filebeat来收集日志，将所有节点的日志内容通过filebeat发送到logstash,logstash根据配置文件进行过滤。然后将过滤之后的文件输送到elasticsearch中，通过kibana对数据分析和可视化。filebeat是轻量型日志采集器，对内存资源消耗比较小，而logstash对内存资源消耗比较大，因此用filebeat代替logstash采集日志。

filebeat原理

Filebeat 能够读取并转发日志行，如果出现中断，还会在一切恢复正常后，从中断前停止的位置继续开始。主要由两部分组成：
prospector:负责管理harvester并找到所有需要读取的文件源。
harvest:负责读取文件内容，逐行读取文件内容，并将内容发送到输出目的地。

filebeat-7.3.2下载地址

filebeat下载链接
下载filebeat-7.3.2-windows-x86_64.zip版本，解压

配置filebeat

以写入logstash为例，修改filebeat的配置文件 filebeat.yml

filebeat.inputs:

  - type: log
    enable: true
    paths:  # 采集日志的路径
    - D:\input\a\*.log
    # 日志多行合并采集，根据日志格式设置，可忽略
    multiline.pattern: '^\['
    multiline.negate: true
    multiline.match: after
    # 为每个项目标识,或者分组，可区分不同格式的日志
    tags: ["java-logs"]
output:
  # 输出到logstash中,logstash更换为自己的ip
  logstash:
    hosts: ["localhost:5044"]

启动filebeat

在filebeat安装目录下，启动命令行

filebeat -e -c filebeat.yml

-c：配置文件位置
-e：关闭日志输出

如图所示，filebeat读取到D:\input\a\下的两个日志文件access.log和xyz.log,并发送到logstash的5044端口，需要启动logstash

filebeat配置详解

filebeat.inputs:
#采集数据类型，指定文件的输入类型log或者stdin
  - type: log
    enable: true
    # 日志采集的路径
    paths:  
    - D:\input\a\*.log
    
    #制定正则表达式，用来制定要匹配的行，在输入中匹配符合正则表达式列表的那些行，可以有几个
    include_lines: ['^ERR', '^WARN']

    #exclude_lines:指定正则表达式，用来指定不要匹配的行，在输入中排出符合正则表达式列表的那些行，可以有几个
    exclude_lines: ['^DBG']
    
    #exclude_files:忽略掉符合正则表达式列表的文件，默认为每一个符合path定义的文件都创建一个harvester
    exclude_files: [".gz$"]
    
    #encoding:指定被监控的文件的编码类型，使用plain和utf-8都是可以处理中文日志的
    encoding: plain
    
    #向输出的每一条日志添加额外的信息，比如“level:debug”方便后续对日志进行分组统计。
    fields:
    level: debug
    
    #multiline:实用于日志中的每一条日志占据多行的情况，比如各种语言的报错信息调用栈
    #file对于多行日志的处理，日志多行合并采集
    #不以时间格式开头的行都合并到上一行的末尾
    multiline.pattern: '^\['    
    multiline.negate: true
    multiline.match: after
    max_lines: 500
    timeout: 5s
    
    #pattern:正则表达式
    #negate:true或false;默认是false，匹配pattern的行合并到上一行；
    #true,不匹配pattern的行合并到上一行
    #match：after或before，合并到上一行的末尾或开始 
    max_lines：合并最大行，默认500
    timeout: 一次合并事件的超时时间，默认5s，防止合并消耗太多时间设置卡死
    
    # 给filebeat采集到的数据加上标签
    tags: ["java-logs"]

    #显示filebeat自身的日志,可以设置日志的level,路径，名字
    logging.level: info
    logging.to_files: true
    logging.to_syslog: false
    logging.files:
    path: D:\input\filebeat_log
    name: filebeat.log
   
    #不常用配置，了解下：
    #close_older如果一个文件在某个时间段内没有发生过更新则关闭监控的文件handle。默认1h，change只会在下一次scan才会被发现。
    close_older: 1h
    
    scan_frequency: filebeat以多快的频率去prospector指定的目录下面检测文件更新（比如是否有新增文件），如果设置为0s,则filebeat会尽可能地感知更新（占用的CPU会变高）。默认是10s。
    
    max_bytes:日志文件中增加一行算一个日志事件，max_bytes限制在一次日志事件中最多上传的字节数，多出的字节会被丢弃。
    
    tail_files:如果设置为true，filebeat从文件尾开始监控文件新增内容，把新增的每一行文件作为一个事件一次发送，而不是从文件开始处重新发送所有内容。
    
    backoff: filebeat检测到某个文件到了EOF之后，每次等待多久再去检测文件是否有更新，默认为1s

    max_backoff:filebeat检测到某个文件到了EOF之后，等待检测文件更新的最大时间，默认是10s

    registry_file:记录filebeat处理日志文件的位置的文件，如果容器重启，可以从记录的位置开始取日志

#filebeat可以指定输出源
output:
  # 输出到logstash中,logstash更换为自己的ip，5044为logstash监控的端口，需要与logstash的配置文件对应
  logstash:
    hosts: ["localhost:5044"]
    index: "logstash-%{+yyyy.MM.dd}"
 
  #输出到file
output.file:
  path: "/tmp/filebeat"
  filename: filebeat
  	
  #输出到控制台
output.console:
    pretty: true