Filebeat 日志收集工具配置实践

最新推荐文章于 2024-04-11 18:40:07 发布
最新推荐文章于 2024-04-11 18:40:07 发布
阅读量2.1k 收藏 2
点赞数
分类专栏： ELK 文章标签： elasticsearch filebeat 日志收集 日志采集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangxm_qz/article/details/107009658
版权

文章目录

Filebeat介绍

Filebeat是一个轻量型日志采集器，可以方便的同kibana集成，启动filebeat后，可以直接在kibana中观看对日志文件进行detail的过程。结合搜索功能可以查看某个程序、某个服务器 在某段时间的日志情况。

Filebeat工作原理

Filebeat由两个主要组件组成：prospector 和 harvester。
harvester
负责读取单个文件的内容。
如果文件在读取时被删除或重命名，Filebeat将继续读取文件。
prospector
prospector 负责管理harvester并找到所有要读取的文件来源。
如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个harvester。
Filebeat目前支持两种prospector类型：log和stdin。

在这里插入图片描述

Filebeat如何保持文件的状态
Filebeat 保存每个文件的状态并经常将状态刷新到磁盘上的注册文件中。
该状态用于记住harvester正在读取的最后偏移量，并确保发送所有日志行。
如果输出（例如Elasticsearch或Logstash）无法访问，Filebeat会跟踪最后发送的行，并在输出再次可用时继续读取文件。

在Filebeat运行时，每个prospector内存中也会保存的文件状态信息，当重新启动Filebeat时，将使用注册文件的数据来重建文件状态，Filebeat将每个harvester在从保存的最后偏移量继续读取。
文件状态记录在data/registry文件中

部署与运行

解压安装包

文件下载地址：https://download.csdn.net/download/zhangxm_qz/12556555
解压命令: tar -zvxf filebeat-6.5.4-linux-x86_64.tar.gz
解压到 /opt/apps 下 并建立软连接 到 filebeat 目录 命令：ln -s filebeat-6.5.4-linux-x86_64 filebeat
目录结构如下：

[root@localhost apps]# ls
elasticsearch-6.5.4                 jdk
elasticsearch-6.5.4.tar.gz          jdk1.8.0_191
elsearch                            jdk-8u191-linux-x64.tar.gz
filebeat                            nginx
filebeat-6.5.4-linux-x86_64         nginx-1.12.2
filebeat-6.5.4-linux-x86_64.tar.gz  nginx-1.12.2.tar.gz

配置运行

在filebeat目录下 创建配置文件 test.yml，内容如下：

[root@localhost filebeat]# vi test.yml
filebeat.inputs:
- type: stdin
  enabled: true
setup.template.settings:
  index.number_of_shards: 3
output.console:
  pretty: true
  enable: true

该文件配置，监控控制台输入，将监控到的结果直接在终端输出。
运行如下命令启动filebeat

./filebeat -e -c test.yml

可以看到 filebeat正常启动，输入hello运行结果如下：

hello

{
  "@timestamp": "2020-06-28T05:56:55.077Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "doc",
    "version": "6.5.4"
  },
  "prospector": {
    "type": "stdin"
  },
  "input": {
    "type": "stdin"
  },
  "beat": {
    "version": "6.5.4",
    "name": "localhost.localdomain",
    "hostname": "localhost.localdomain"
  },
  "host": {
    "name": "localhost.localdomain"
  },
  "message": "hello",
  "source": "",
  "offset": 0
}

读取文件

创建 /opt/apps/filebeat/logs/ 目录 ，并在该目录下创建 a.log 和b.log 文件
增加配置文件test-log.yml 配置文件内容如下：

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /opt/apps/filebeat/logs/*.log
setup.template.settings:
  index.number_of_shards: 3
output.console:
  pretty: true
  enable: true

该文件监控 目录下所有 .log 文件，监控到变化后输出到控制台
启动filebeat
./filebeat -e -c test-log.yml
通过如下命令写入内容到 日志文件
echo ddd>a.log
echo dee>b.log
filebeat 控制台输出结果如下：

{
  "@timestamp": "2020-06-28T06:10:20.021Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "doc",
    "version": "6.5.4"
  },
  "prospector": {
    "type": "log"
  },
  "input": {
    "type": "log"
  },
  "beat": {
    "name": "localhost.localdomain",
    "hostname": "localhost.localdomain",
    "version": "6.5.4"
  },
  "host": {
    "name": "localhost.localdomain"
  },
  "source": "/opt/apps/filebeat/logs/a.log",
  "offset": 0,
  "message": "ddd"
}

{
  "@timestamp": "2020-06-28T06:10:54.990Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "doc",
    "version": "6.5.4"
  },
  "source": "/opt/apps/filebeat/logs/b.log",
  "offset": 0,
  "message": "deee",
  "prospector": {
    "type": "log"
  },
  "input": {
    "type": "log"
  },
  "beat": {
    "name": "localhost.localdomain",
    "hostname": "localhost.localdomain",
    "version": "6.5.4"
  },
  "host": {
    "name": "localhost.localdomain"
  }
}

可以看出，已经检测到日志文件有更新，立刻就会读取到更新的内容，并且输出到控制台

自定义字段

修改 test-log.yml 配置文件内容如下：

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /opt/apps/filebeat/logs/*.log
  tags: ["logfile"]
  fields:
    from: log
  fields_under_root: true #true为添加到根节点，false为添加到子节点中
setup.template.settings:
  index.number_of_shards: 3
output.console:
  pretty: true
  enable: true

启动服务
./filebeat -e -c test-log.yml

输入dddd 到b.log
echo dddd > b.log
filebeat控制台输出:

{
  "@timestamp": "2020-06-28T06:22:39.636Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "doc",
    "version": "6.5.4"
  },
  "message": "dddd",
  "input": {
    "type": "log"
  },
  "prospector": {
    "type": "log"
  },
  "from": "log",  -- 根目录下增加了from字段
  "beat": {
    "name": "localhost.localdomain",
    "hostname": "localhost.localdomain",
    "version": "6.5.4"
  },
  "host": {
    "name": "localhost.localdomain"
  },
  "source": "/opt/apps/filebeat/logs/b.log",
  "offset": 0,
  "tags": [           --  根目录下增加了tags字段且
    "logfile"
  ]
}

输出到Elasticsearch

修改配置文件 test-log.yml内容如下：

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /opt/apps/filebeat/logs/*.log
  tags: ["logfile"]
  fields:
    from: log
  fields_under_root: true
setup.template.settings:
  index.number_of_shards: 3
output.elasticsearch:
  hosts: ["192.168.12.10:9200","192.168.12.11:9200","192.168.12.12:9200"]

启动服务
./filebeat -e -c test-log.yml
同时确保 es服务正常，再次输入内容到b.log
echo 123 > b.log
之后可以看到 es中自动创建了索引，并且保存了刚才监控到的数据如下：

在这里插入图片描述

读取Nginx日志文件

修改配置文件test-log.yml如下：

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /usr/local/nginx/logs/*.log
  tags: ["nginx"]  
  fields:
    from: nginx
  fields_under_root: true
setup.template.settings:
  index.number_of_shards: 3
output.elasticsearch:
  hosts: ["192.168.12.10:9200","192.168.12.11:9200","192.168.12.12:9200"]

启动服务后可以看到 filebeat 会将nginx日志都存入到 es中如下：

在这里插入图片描述

Module使用

Module启用

前面要想实现日志数据的读取以及处理都是自己手动配置的，其实，在Filebeat中，有大量的Module，可以简化我们的配置，直接就可以使用，如下

[root@localhost filebeat]# ./filebeat modules list
Enabled:

Disabled:
apache2
auditd
elasticsearch
haproxy
icinga
iis
kafka
kibana
logstash
mongodb
mysql
nginx
osquery
postgresql
redis
suricata
system
traefik

可以看到，内置了很多的module，但是都没有启用，如果需要启用需要进行enable操作（./filebeat modules disable nginx #禁用）

[root@localhost filebeat]# ./filebeat modules enable nginx
Enabled nginx
[root@localhost filebeat]# ./filebeat modules list
Enabled:
nginx

Disabled:
apache2
auditd
elasticsearch
haproxy
icinga
iis
kafka
kibana
logstash
mongodb
mysql
osquery
postgresql
redis
suricata
system
traefik

同时可以看到 module.d下nginx.yml 文件可用

[root@localhost filebeat]# cd modules.d/
[root@localhost modules.d]# ll
总用量 72
-rw-r--r--. 1 root root 371 12月 18 2018 apache2.yml.disabled
-rw-r--r--. 1 root root 175 12月 18 2018 auditd.yml.disabled
-rw-r--r--. 1 root root 845 12月 18 2018 elasticsearch.yml.disabled
-rw-r--r--. 1 root root 269 12月 18 2018 haproxy.yml.disabled
-rw-r--r--. 1 root root 546 12月 18 2018 icinga.yml.disabled
-rw-r--r--. 1 root root 371 12月 18 2018 iis.yml.disabled
-rw-r--r--. 1 root root 396 12月 18 2018 kafka.yml.disabled
-rw-r--r--. 1 root root 188 12月 18 2018 kibana.yml.disabled
-rw-r--r--. 1 root root 361 12月 18 2018 logstash.yml.disabled
-rw-r--r--. 1 root root 189 12月 18 2018 mongodb.yml.disabled
-rw-r--r--. 1 root root 368 12月 18 2018 mysql.yml.disabled
-rw-r--r--. 1 root root 369 12月 18 2018 nginx.yml
-rw-r--r--. 1 root root 388 12月 18 2018 osquery.yml.disabled
-rw-r--r--. 1 root root 192 12月 18 2018 postgresql.yml.disabled
-rw-r--r--. 1 root root 463 12月 18 2018 redis.yml.disabled
-rw-r--r--. 1 root root 190 12月 18 2018 suricata.yml.disabled
-rw-r--r--. 1 root root 574 12月 18 2018 system.yml.disabled
-rw-r--r--. 1 root root 195 12月 18 2018 traefik.yml.disabled

Nginx Module配置

修改 nginx.yml 内容如下：

[root@localhost modules.d]# vi nginx.yml 
- module: nginx
  # Access logs
  access:
    enabled: true
    var.paths: ["/usr/local/nginx/logs/access.log*"]
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths:

  # Error logs
  error:
    enabled: true
    var.paths: ["/usr/local/nginx/logs/error.log*"]
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths:

修改 新建 test-nginx.yml 内容如下：

filebeat.inputs:
setup.template.settings:
  index.number_of_shards: 3
output.elasticsearch:
  hosts: ["192.168.12.10:9200","192.168.12.11:9200","192.168.12.12:9200"]
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

启动服务发现报错

  ERROR   pipeline/output.go:100  Failed to connect to backoff(elasticsearch(http://192.168.12.10:9200)): Connection marked as failed because the onConnect callback failed: Error loading pipeline for fileset nginx/access: This module requires the following Elasticsearch plugins: ingest-user-agent, ingest-geoip. You can install them by running the following commands on all the Elasticsearch nodes:
    sudo bin/elasticsearch-plugin install ingest-user-agent
    sudo bin/elasticsearch-plugin install ingest-geoip

按照提示 到 es各个节点 执行 如下命令安装插件：

 bin/elasticsearch-plugin install ingest-user-agent
 bin/elasticsearch-plugin install ingest-geoip

安装完成后重启es服务和filebeat服务 ，es中可以正常采集nginx日志信息且，日志格式更加友好，字段准确

在这里插入图片描述

其他的Module的用法参加官方文档：
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules.html

catch that elf
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
efk7.13搜集java日志-filebeat配置详解
06-29
efk7.13搜集java日志—filebeat配置详解笔记总结
filebeat+logstash日志采集Invalid version of beats protocol错误
zhangjunfun的专栏
03-19 9312
项目使用filebeat采集Nginx日志送到Logstash进行格式化后送到ElasticSearch，filebeat和Logstash成功启动后logstash报了一个错误（Invalid version of beats protocol），如下： [2021-03-19T11:42:55,089][INFO ][org.logstash.beats.BeatsHandler][main][beb2be8c82db2bab06de95da0bf4611dd78ef6050f2c4ec2e7f54
ELK学习遇到的问题3--ERROR pipeline/output.go:100 Failed to connect to backoff(elasticsearch..
weixin_44736359的博客
07-20 8074
遇到的问题： [root@m01 modules.d]# tail -f /var/log/filebeat/filebeat 2020-07-19T11:29:42.226+0800 ERROR pipeline/output.go:100 Failed to connect to backoff(elasticsearch(http://10.0.0.51:9200)): Connection marked as failed because the onConnect callback failed:
ELK详解（十六）——filebeat安装与使用_filebeat配置文件详解
最新发布
2301_76225520的博客
04-11 497
filebeat是一款轻量级的日志收集工具，可以在非JAVA环境下运行。因此，filebeat常被用在非JAVAf的服务器上用于替代Logstash，收集日志信息。实际上，Filebeat几乎可以起到与Logstash相同的作用，可以将数据转发到Logstash、Redis或者是Elasticsearch中进行直接处理。。
日志文件采集工具filebeat，版本8.2.2
06-14
日志文件采集工具filebeat，版本8.2.2
filebeat收集nginx日志的配置文件
02-11
本资源结合我的博客一并使用，用于解决filebeat收集nginx日志用的
filebeat报错error pipeline/output.go:100 failed to connect to backoff(async(tcp://xx.xx.xx.xx:))...
入门小弟
04-12 898
hosts中的localhost:5044调整至接收端IP和端口（172.17.166.156:15137）,配置修改后问题解决。
Filebeat 连接 Logstash 常见问题。
热门推荐
逐月
08-26 2万+
Failed to connect to backoff(async(tcp://ip:5044)): dial tcp ip:5044: i/o timeout Failed to connect to backoff(async(tcp://ip:5044)): dial tcp ip:5044: connect: connection refused Failed to publish e...
Filebeat入门及使用-3 文件输入，ES中输出
小哇
03-09 1612
ES7.6.1 安装，可参考博文【ElasticSearch】 ElasticSearch安装（一） - H__D - 博客园 1 新建配置文件 a_3.yml # 输入 filebeat.inputs: - type: log enabled: true paths: - /data/logs/*.log # 指定索引的分区数 setup.template.settings: index.number_of_shards: 3 # 输出到指定ES的配置 output.elas
Filebeat的基本使用
西卡卡的博客
11-16 7552
Filebeat的基本使用_我就是我的博客-CSDN博客_filebeat 一篇文章搞懂filebeat（ELK） - 一寸HUI - 博客园 Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。 　　Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebe
elasticsearch 索引_filebeat设置Elasticsearch索引模板
weixin_39603604的博客
11-29 903
配置文件的setup.template部分filebeat.yml指定用于在Elasticsearch中设置映射的索引模板，如果启用了模板加载(默认设置)，则filebeat会在成功连接到Elasticsearch后自动加载索引模板。note：加载索引模板需要连接到Elasticsearch，如果输出是Logstash，则必须手动加载模板。可以调整以下设置加载自己的模板或覆盖现有模板。setup....
Filebeat 实时收集 Nginx 日志1
08-03
Filebeat实时收集Nginx日志说明之所以使用 beats 家族的 Filebeat 来替代 Logstash 是因为 Logstash实在太消耗资源了（
filebeat autodisconvery收集日志.html
08-07
收集日志，日志收集
配置Filebeat
weixin_34389926的博客
02-07 528
2019独角兽企业重金招聘Python工程师标准>>> ...
filebeat使用modules模板收集nginx日志（十）
江晓龙的博客
06-30 2438
filebeat使用modules收集nginx日志 1.为什么要使用modules收集日志 modules只是filebeat的一个小功能，由于像mysql、redis等这种日志无发输出成json格式，filebeat无法将收集来的普通日志转换为json格式，从而进行细致的统计 logstash可以做到将普通日志转换成json格式，但是配置十分复杂，且容易出错 介于种种不便，elk官方推出了filebeat modules模块功能，将常用服务的日志转换做成了模板，只需要启动模板，配置日志路径即可将普通文
filebeat采集日志到ELK
refire
06-08 1366
filebeat采集日志到ES
登录mysql报错Failed to connect to backoff 或 Failed to get D-Bus connection: Operation not permitted解决方法
BIGmustang的博客
09-22 2059
mysql -u root -p 登录mysql时报错 Failed to get D-Bus connection: Operation not permitted 解决方法 –pricileged 带权限登录，不降权登录 不加此参数会出现登录不进去mysql 现象 执行后解决 [root@docker2 mysql]# docker run -d --privileged=true -P centos7:mysql5.7.1 ...
filebeat自定义索引(不同的日志输出到不同的索引)
junxuezheng的博客
09-01 7645
filebeat可以实现不同的日志（input）输出到不同的索引（index） # 向输出的每一条日志添加额外的信息，比如“level:debug”，方便后续对日志进行分组统计。 # 默认情况下，会在输出信息的fields子目录下以指定的新增fields建立子目录，例如fields.level # 这个得意思就是会在es中多添加一个字段，格式为 "filelds":{"level":"debug"} #fields: # level: debug 配置文件如下所示 # ======
filebeat采集日志输出到redis配置方法
03-11
可以在filebeat.yml文件中配置输出到redis的方式，具体配置方法如下： 1. 在filebeat.yml文件中添加以下配置： output.redis: hosts: ["redis_host:redis_port"] key: "filebeat" db: 0 其中，redis_host为redis服务器的IP地址，redis_port为redis服务器的端口号，key为存储日志的键名，db为存储日志的数据库编号。 2. 保存并重启filebeat服务，即可将采集的日志输出到redis中。 注意：在使用redis输出时，需要安装filebeat的redis模块，具体安装方法可以参考官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

catch that elf

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值