es--基础--2.10.3--部署--Filebeat--案例

已于 2024-10-27 22:01:48 修改
阅读量98 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch
于 2022-04-08 18:31:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhou920786312/article/details/124048299
版权

es–基础–2.10.3–部署–Filebeat–案例

1、input

1.1、input的log类型

cat > /app/filebeat/config/test.yml << EOF
# 指定输入的类型: /tmp/test.log
filebeat.inputs:
- type: log
  paths:
    - /tmp/test.log

#指定输出的类型
output.console:
  #打印漂亮的输出格式
  pretty: true
EOF 

# 启动  
/app/filebeat/filebeat -e -c /app/filebeat/config/test.yml

运行成功后观察终端输出，在/tmp/test.log里输入任意内容，将会以json格式来返回输入的内容到终端，即为测试成功；
在这里插入图片描述

1.2、input的通配符

cat > /app/filebeat/config/test.yml << EOF
# 指定输入的类型
filebeat.inputs:
- type: log
  paths:
    - /tmp/test.log
    - /tmp/*.txt

- type: log
  paths:
    - /tmp/test/*/*.log

#指定输出的类型
output.console:
  #打印漂亮的输出格式
  pretty: true
EOF

# 启动  
/app/filebeat/filebeat -e -c /app/filebeat/config/test.yml

采集/tmp/test.log、/tmp/test/*/*.log、/tmp/*.txt的文件
在这里插入图片描述

1.3、input的通用字段

cat > /app/filebeat/config/test.yml << EOF
# 指定输入的类型
filebeat.inputs:
- type: log
  #是否启用当前的输入类型，默认值为true
  enabled: true
  #指定数据路径
  paths:
    - /tmp/test.log
    - /tmp/*.txt
  #给当前的输入类型打上标签
  tags: ["test"，"中国"，"华润"，"招商局"]
  #自定义字段
  fields:
    school: "北京大学"
    class: "数学"

- type: log
  enabled: true
  paths:
    - /tmp/test/*/*.log
  tags: ["麦迪"，"云原生开发"]
  fields:
    name: "华为"
    hobby: "农业银行，抖音"
  #将自定义字段的key-value放到顶级字段，
  #默认值为false，会将数据放在一个叫fields的字段下面；
  fields_under_root: true

output.console:
  pretty: true
EOF

# 启动  
/app/filebeat/filebeat -e -c /app/filebeat/config/test.yml

在这里插入图片描述

2、输出到ES

2.1、一般配置



cat > /app/filebeat/config/test.yml << EOF
# 指定输入的类型
filebeat.inputs:
- type: log
  #是否启用当前的输入类型，默认值为true
  enabled: true
  #指定数据路径
  paths:
    - /tmp/test.log
    - /tmp/*.txt
  #给当前的输入类型打上标签
  tags: ["test"，"中国"，"华润"，"招商局"]
  #自定义字段
  fields:
    school: "北京大学"
    class: "数学"

- type: log
  enabled: true
  paths:
    - /tmp/test/*/*.log
  tags: ["麦迪"，"云原生开发"]
  fields:
    name: "华为"
    hobby: "农业银行，抖音"
  #将自定义字段的key-value放到顶级字段，
  #默认值为false，会将数据放在一个叫fields的字段下面；
  fields_under_root: true

# 改动点-----输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  index: "test666-%{+yyyy.MM.dd}"

#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test666"
#设置索引模板的匹配模式
setup.template.pattern: "test666-*"
EOF

在这里插入图片描述

2.2、根据不同的标签/字段，写入不同的索引


cat > /app/filebeat/config/test.yml << EOF
# 指定输入的类型
filebeat.inputs:
- type: log
  #是否启用当前的输入类型，默认值为true
  enabled: true
  #指定数据路径
  paths:
    - /tmp/test.log
    - /tmp/*.txt
  #给当前的输入类型打上标签
  tags: ["test"，"中国"，"华润"，"招商局"]
  #自定义字段
  fields:
    school: "北京大学"
    class: "数学"

- type: log
  enabled: true
  paths:
    - /tmp/test/*/*.log
  tags: ["麦迪"，"云原生开发"]
  fields:
    name: "华为"
    hobby: "农业银行，抖音"
  #将自定义字段的key-value放到顶级字段，
  #默认值为false，会将数据放在一个叫fields的字段下面；
  fields_under_root: true

# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  #index: "test666-%{+yyyy.MM.dd}"
  # 改动点如下------------
  indices:
    - index: "test666-hello1-%{+yyyy.MM.dd}"
      #匹配指定字段包含的内容
      when.contains:
        tags: "中国"
    - index: "test666-hello2-%{+yyyy.MM.dd}"
      when.contains:
        tags: "云原生开发"

#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test666"
#设置索引模板的匹配模式
setup.template.pattern: "test666-*"
EOF

测试数据

mkdir -p /tmp/test/test/ 
echo hello1  >> /tmp/test.log
echo hello2  >> /tmp/test/test/1.log

在这里插入图片描述

在这里插入图片描述

2.3、自定义分片和副本数量案例




cat > /app/filebeat/config/test.yml << EOF
# 指定输入的类型
filebeat.inputs:
- type: log
  #是否启用当前的输入类型，默认值为true
  enabled: true
  #指定数据路径
  paths:
    - /tmp/test.log
    - /tmp/*.txt
  #给当前的输入类型打上标签
  tags: ["test"，"中国"，"华润"，"招商局"]
  #自定义字段
  fields:
    school: "北京大学"
    class: "数学"

- type: log
  enabled: true
  paths:
    - /tmp/test/*/*.log
  tags: ["麦迪"，"云原生开发"]
  fields:
    name: "华为"
    hobby: "农业银行，抖音"
  #将自定义字段的key-value放到顶级字段，
  #默认值为false，会将数据放在一个叫fields的字段下面；
  fields_under_root: true

# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  #index: "test777-%{+yyyy.MM.dd}" 
  indices:
    - index: "test777-hello1-%{+yyyy.MM.dd}"
      #匹配指定字段包含的内容
      when.contains:
        tags: "中国"
    - index: "test777-hello2-%{+yyyy.MM.dd}"
      when.contains:
        tags: "云原生开发"

#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test777"
#设置索引模板的匹配模式
setup.template.pattern: "test777-*"

# 改动点如下------------
#覆盖已有的索引模版，如果为true则会直接覆盖现有的模版，为false则为不覆盖；
setup.template.overwrite: false
#配置索引模版
setup.template.settings:
  #设置分片数量
  index.number_of_shards: 3
  #设置副本数量，要求小于集群节点的数量，否则会出现副本分片无法分配的情况(集群状态呈黄色)
  index.number_of_replicas: 1
EOF

在这里插入图片描述

3、nginx日志

3.1、基于log类型收集nginx原生日志





cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access.log*
  tags: ["nginx-access"]


# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  index: "test888-%{+yyyy.MM.dd}" 
 

#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test888"
#设置索引模板的匹配模式
setup.template.pattern: "test888-*"

#覆盖已有的索引模版，如果为true则会直接覆盖现有的模版，为false则为不覆盖；
setup.template.overwrite: false
#配置索引模版
setup.template.settings:
  #设置分片数量
  index.number_of_shards: 3
  #设置副本数量，要求小于集群节点的数量，否则会出现副本分片无法分配的情况(集群状态呈黄色)
  index.number_of_replicas: 2
EOF

在这里插入图片描述
在这里插入图片描述

3.2、基于log类型收集nginx的json日志

3.2.1、修改nginx的日志格式

log_format main '{"@timestamp":"$time_iso8601"，'
                                '"host":"$server_addr"，'
                                '"clientip":"$remote_addr"，'
                                '"SendBytes":$body_bytes_sent，'
                                '"responsetime":$request_time，'
                                '"upstreamtime":"$upstream_response_time"，'
                                '"upstreamhost":"$upstream_addr"，'
                                '"http_host":"$host"，'
                                '"uri":"$uri"，'
                                '"domain":"$host"，'
                                '"xff":"$http_x_forwarded_for"，'
                                '"referer":"$http_referer"，'
                                '"tcp_xff":"$proxy_protocol_addr"，'
                                '"http_user_agent":"$http_user_agent"，'
                                '"status":"$status"}';

nginx的日志

{"@timestamp":"2024-10-27T19:45:38+08:00"，"host":"192.168.187.88"，"clientip":"192.168.187.1"，"SendBytes":0，"responsetime":0.000，"upstreamtime":"-"，"upstreamhost":"-"，"http_host":"192.168.187.88"，"uri":"/index.html"，"domain":"192.168.187.88"，"xff":"-"，"referer":"-"，"tcp_xff":"-"，"http_user_agent":"Mozilla/5.0(Windows NT 10.0; Win64; x64)AppleWebKit/537.36(KHTML， like Gecko)Chrome/130.0.0.0 Safari/537.36"，"status":"304"}

{"@timestamp":"2024-10-27T19:45:38+08:00"，"host":"192.168.187.88"，"clientip":"192.168.187.1"，"SendBytes":0，"responsetime":0.000，"upstreamtime":"-"，"upstreamhost":"-"，"http_host":"192.168.187.88"，"uri":"/index.html"，"domain":"192.168.187.88"，"xff":"-"，"referer":"-"，"tcp_xff":"-"，"http_user_agent":"Mozilla/5.0(Windows NT 10.0; Win64; x64)AppleWebKit/537.36(KHTML， like Gecko)Chrome/130.0.0.0 Safari/537.36"，"status":"304"}

3.2.2、配置





cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access.log*
  tags: ["nginx-access"]
  #-------改动点如下-------
  #以JSON格式解析message内容，拆分字段；
  json.keys_under_root: true

# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  index: "test999-%{+yyyy.MM.dd}" 
 

#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test999"
#设置索引模板的匹配模式
setup.template.pattern: "test999-*"

#覆盖已有的索引模版，如果为true则会直接覆盖现有的模版，为false则为不覆盖；
setup.template.overwrite: false
#配置索引模版
setup.template.settings:
  #设置分片数量
  index.number_of_shards: 3
  #设置副本数量，要求小于集群节点的数量，否则会出现副本分片无法分配的情况(集群状态呈黄色)
  index.number_of_replicas: 2
EOF

在这里插入图片描述

4、基于modules类型采集文件

4.1、采集nginx日志文件

4.1.1、编辑nginx模块的配置文件



# 查看并启用nginx模块
# 查看现有的模块
# /app/filebeat/filebeat modules list

#开启nginx模块，禁用使用disable
/app/filebeat/filebeat modules enable nginx

 

# 编辑nginx模块的配置文件
cat >  /app/filebeat/modules.d/nginx.yml << EOF
- module: nginx
  access:
    enabled: true
    var.paths: ["/usr/local/nginx/logs/access.log"]
  error:
    enabled: false
    var.paths: ["/usr/local/nginx/logs/error.log"]
  ingress_controller:
    enabled: false
EOF

4.1.2、配置

cat > /app/filebeat/config/test.yml << EOF
filebeat.config.modules:
  #指定模块的配置文件路径； 
  path: /app/filebeat/modules.d/*.yml
  #开启热加载功能
  reload.enabled: false

# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  index: "test1111" 
 
 
#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test1111"
#设置索引模板的匹配模式
setup.template.pattern: "test1111"
EOF

在这里插入图片描述

4.2、采集tomcat日志文件

4.2.1、编辑tomcat模块的配置文件


# 查看并启用tomcat模块
# 查看现有的模块
cd /app/filebeat/
# ./filebeat modules list

#开启tomcat模块，禁用使用disable
./filebeat modules enable tomcat




# 编辑tomcat模块的配置文件
cat >  /app/filebeat/modules.d/tomcat.yml << EOF
- module: tomcat
  log:
    enabled: true
    # 指定输入的类型是文件(file)，默认是监听udp端口(不会向es传输日志)
    var.input: file
    #tomcat访问日志的位置
    var.paths:
      - /tmp/demo/logs/access_log*.log
EOF

4.2.2、tomcat配置

# tomcat配置
server.tomcat.accesslog.enabled=true
server.tomcat.accesslog.directory=/tmp/demo/logs/
server.tomcat.accesslog.file-date-format=.yyyy-MM-dd
server.tomcat.accesslog.pattern='[%{yyyy-MM-dd'T'HH:mm:ss.SSSZZZZ}t][%I][access|%m|%q|%U|%a|%D|%s|%b][%{tRequestId}i|%{X-Request-ID}i|%{Referer}i|%{User-Agent}i][%{X-B3-TraceId}i|%{X-B3-SpanId}i|%{X-B3-ParentSpanId}i|%{X-Span-Export}i][%{keywords}i]'
server.tomcat.accesslog.prefix=access_log
server.tomcat.accesslog.suffix=.log
server.tomcat.accesslog.rename-on-rotate=false
server.tomcat.accesslog.rotate=true

4.2.3、配置


cat > /app/filebeat/config/test.yml << EOF
filebeat.config.modules:
  #指定模块的配置文件路径； 
  path: /app/filebeat/modules.d/*.yml
  #开启热加载功能
  reload.enabled: false

# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  index: "test1112" 
 
 
#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test1112"
#设置索引模板的匹配模式
setup.template.pattern: "test1112"
EOF

在这里插入图片描述

5、tomcat日志

5.1、基于log类型收集tomcat的原生日志


cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
- type: log
  enabled: true
  #tomcat的访问日志位置
  paths:
    - /tmp/demo/logs/access_log*.log
  tags: ["tomcat-access-json"]

# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  index: "test1113" 
 
 
#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test1113"
#设置索引模板的匹配模式
setup.template.pattern: "test1113"
EOF

在这里插入图片描述

5.2、基于log类型多行匹配案例-收集tomcat的错误日志


cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
- type: log
  enabled: true
  #tomcat的访问日志位置
  # -------改动点如下-------
  paths:
    - /tmp/demo/*.out 
  tags: ["tomcat-error-json"]  
  #指定多行匹配的类型，可选值为pattern(常用，只要下面匹配的参数出现就换行)，count(次数，用于下面匹配的参数出现多少次就换行)
  multiline.type: pattern
  #指定匹配的模式，这里的'^\d{2}代表的是以两个数字开头的，例如11或者12' 
  multiline.pattern: '^\d{2}'
  #下面两个参数参考官方架构图即可；https://www.elastic.co/guide/en/beats/filebeat/7.17/multiline-examples.html
  multiline.negate: true
  multiline.match: after

  

# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  index: "test1114" 
 
 
#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test1114"
#设置索引模板的匹配模式
setup.template.pattern: "test1114"
EOF

6、日志过滤

6.1、排除日志中指定的内容

类似【黑名单】的作用


 
cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
- type: log
  paths:
    - /tmp/test.log
  #不采集的日志中包含指定的内容(例如下方指定的以"INFO"开头的数据、日志中包含"发送消息成功"的数据、日志中以"SUCCESS"结尾的数据)区分大小写
  exclude_lines: ['^INFO'，'发送消息成功'，'SUCCESS$']

output.console:
  pretty: true
EOF

6.2、只收集日志中指定的内容

类似【白名单】的作用


 
cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
- type: log
  paths:
    - /tmp/test.log
  #只采集的日志中包含的指定内容(例如下方指定的以"ERROR"开头的数据、日志中包含"返回消息失败"的数据、日志中以"Failed"结尾的数据)区分大小写！
  include_lines: ['^ERROR'， '发送消息失败'，'Failed$']

output.console:
  pretty: true
EOF

7、filestream类型

7.1、解析json日志案例

官方警告，未来log类型的input可能会被弃用，建议使用filestream类型


cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
- type: filestream
  enabled: true
  paths:
    - /usr/local/nginx/logs/access.log*
  tags: ["nginx-access-json"]
  #对于filestream类型而言，不能直接配置json解析，而是需要配置解析器实现
  #json.keys_under_root: true 
  #综上所述，需要以下的写法实现
  parsers:
    - ndjson:
      #对json字段内容进行JSON格式解析，并将key放到顶级字段
      keys_under_root: true

# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  index: "test1115" 
 
 
#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test1115"
#设置索引模板的匹配模式
setup.template.pattern: "test1115"
EOF

在这里插入图片描述

7.2、多行匹配案例–收集tomcat的错误日志



cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
# 改动点 type: filestream
- type: filestream
  enabled: true
  #tomcat的日志位置
  paths:
    - /tmp/demo/*.out 
  tags: ["tomcat-error-json"]  
  #指定多行匹配的类型，可选值为pattern(常用，只要下面匹配的参数出现就换行)，count(次数，用于下面匹配的参数出现多少次就换行)
  multiline.type: pattern
  #指定匹配的模式，这里的'^\d{2}代表的是以两个数字开头的，例如11或者12' 
  multiline.pattern: '^\d{2}'
  #下面两个参数参考官方架构图即可；https://www.elastic.co/guide/en/beats/filebeat/7.17/multiline-examples.html
  multiline.negate: true
  multiline.match: after

  

# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  index: "test1114" 
 
 
#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test1114"
#设置索引模板的匹配模式
setup.template.pattern: "test1114"
EOF

8、日志聚合

8.1、聚合到本地

日志聚合就是将多个源端的日志，聚合到同一台服务器上；
例如
客户端A 发送日志111
客户端B 发送日志222
服务器C 收集到的日志为 111和222

#基于input的tcp和udp类型将多个客户端的日志聚合到filebeat本地的文件中
cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
#tcp类型
- type: tcp 
#监听的地址和端口
  host: "192.168.1.4:9000"
- type: tcp
  host: "192.168.1.4:9001"
#udp类型  
- type: udp
  host: "192.168.1.4:8000"

output.file:
  #文件存放的位置
  path: "/tmp/filebeat"
  #指定文件名
  filename: test1104.log
  #指定文件的滚动大小，默认值是10MB
  rotate_every_kb: 10000
  #指定保存文件的个数，默认是7个，有效值是2-1024个
  number_of_files: 7
  #指定文件的权限，默认是0600，属主拥有可读可写的权限
  permissions: 0600
EOF

8.2、聚合到ES

基于input的tcp和udp类型将多个客户端的日志聚合到filebeat然后输出给ES

cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
- type: tcp
  host: "192.168.1.4:9000"
  tags: ["tcp-message"]

- type: tcp
  host: "192.168.1.4:9001"
  tags: ["tcp-message"]

- type: udp
  host: "192.168.1.4:8000"
  tags: ["udp-message"]



# 输出类型选择elasticsearch
output.elasticsearch:
  enabled: true
  #ES地址
  hosts: ["http://192.168.187.88:9200"，"http://192.168.187.88:9200"]
  username: "elastic"
  password: "123456"
  # 索引名称
  index: "test1114" 
 
 
#禁用索引生命周期管理，如果开启的话则会忽略我们自定义的索引;
setup.ilm.enabled: false
#设置索引模板的名称
setup.template.name: "test1114"
#设置索引模板的匹配模式
setup.template.pattern: "test1114"
EOF

9、将filebeat收集的数据写入redis


cat > /app/filebeat/config/test.yml << EOF
filebeat.inputs:
- type: log
  paths:
    - /tmp/test.log

output.redis:
  #写入redis的主机地址
  hosts: ["192.168.1.2:6379"]
  #指定redis的认证口令(登录密码)
  password: "123456"
  #指定的key的值，可自定义
  key: "filebeat-test-redis"
  #指定redis桶(数据库)编号
  db: 7
  #规定超时时间
  timeout: 5
Filebeat + ES + Kibana日志解析痛点解决
王鸿飞的专栏
02-19 1万+
使用Filebeat + ES + Kibina的组合进行日志收集的一个优点就是轻量级，因为去掉了笨重的logstash, 占用资源更少。但这也引入了一个问题，即filebeat并没有logstash那样强大的日志解析能力，往往只能把整条日志当成一个整体扔到ES中。好消息是，ES从5.x版本开始引入了Ingest Node，即允许你在对文档进行索引之前进行预处理，且支持logstash的Grok语...
filebeat + es 日志分析
Ayhan_huang的博客
12-02 2329
官网下载filebeat 下载及介绍，略。注意，保持fielbeat和es的版本一致，否则可能会报错。 配置filebeat.yml 主要是： 日志文件路径 单条日志多行合并 kibana和es连接 可以参考官网：https://www.elastic.co/guide/en/beats/filebeat/6.3/index.html 下面是我的配置： ###################### Filebeat Configuration Example ########################
Filebeat + es +kibana
登高~
01-19 1118
背景 分析--->报警 Kibana 展示 Kibana 存储 ElasticSerach 过滤 Logstash 收集 Filebeat, Logstash logstash：因为是由java写的，所以在它收集日志时非常占用业务系统的资源，从而影响线上业务，所以我们将其替换为filebeat. filebeat：为轻量的日志收集组件，会让业务系统的运行更加的稳定. 由于痛点： 1.出现故障,要排查的日志非常的多,没有办法很快定位; 2.统计TOP,PV,UV,I
Elasticsearch —— ES 环境搭建、概念、基本操作、文档操作、SpringBoot继承ES
最新发布
king_faner的博客
10-31 1331
链接:提取码: xr76一、注：环境搭建过程中的命令窗口不能关闭，关闭了服务就会关闭（除了修改设置后重启的）●ES 下载地址:默认打开是最新版本新建一个文件夹，重名为 ES ，将解压在 bin 目录中 双击启动 elasticsearch.bat访问 http://127.0.0.1:9200成功●前提需要安装 nodejsgithub 下载 elasticsearch head :解压从界面访问 9200 服务会出现跨域问题。
Logstash、Filebeat安装与数据同步(+ES安装讲解)
lydms的博客
08-04 9842
Logstash安装、Filebeat安装、数据同步到ES中
【有手就行】filebeat+es+kibana收集Nginx日志
wxd5617的博客
12-04 4053
使用filebeat收集Nginx到es，在kibana进行查询~
filebeat把日志文件上传到Es中配置（ES7版本）
zhaojiyuan1024的博客
07-21 774
filebeat把日志文件上传到Es中配置（ES7版本）自定义索引的名字、模板、生命周期
Filebeat + ES + kibana Ingest node 做解析
Lyncai的专栏
09-08 315
https://zhuanlan.zhihu.com/p/77413046 使用Filebeat + ES + Kibina的组合进行日志收集的一个优点就是轻量级，因为去掉了笨重的logstash, 占用资源更少。但这也引入了一个问题，即filebeat并没有logstash那样强大的日志解析能力，往往只能把整条日志当成一个整体扔到ES中。好消息是，ES从5.x版本开始引入了Ingest Node，即允许你在对文档进行索引之前进行预处理，且支持logstash的Grok语法。因此我们可以在ES中针对我
rate-my-post.2.10.3.zip
12-18
《WordPress插件Rate-My-Post 2.10.3：轻松实现文章评分功能》 在WordPress这个全球流行的开源博客平台中，丰富的插件生态是其魅力之一。 Rate-My-Post是一款专为WordPress设计的文章评分插件，它允许用户在阅读完...
nautobot-plugin-netbox-importer:Nautobot插件可简化从NetBox的数据迁移
03-09
该插件与Nautobot 1.0兼容，目前可以处理从NetBox 2.10.3到2.10.5导出的JSON数据。 安装后，需要在您的nautobot_config.py启用该插件： PLUGINS = [ "nautobot_netbox_importer" ] 用法 从NetBox获取数据导出 在...
ala-install：Ansible剧本，用于安装ALA组件
01-31
Ansible：当前支持的版本是： 2.10.3 该存储库中的剧本和角色已经针对上述版本进行了开发和测试。 通常，您需要在计算机中或用于从中进行部署的计算机中安装ansible。 注意：许多linux软件包具有较旧的Ansible版本...
ansible-avd：Ansible Arista验证设计
02-01
Jinja2 2.10.3 netaddr 0.7.19 要求2.22.0 的treelib 1.5.5 pytest 5.3.4 pytest-html 2.0.1 cvprac 1.0.4 Ansible +其他Python库安装： pip3 install -r development/requirements.txt req
jSerialComm-2.10.3
11-01
jSerialComm-2.10.3库： jSerialComm-2.10.3.jar Fazecast-jSerialComm-v2.10.3-8-g6b792b5.tar.gz Fazecast-jSerialComm-v2.10.3-8-g6b792b5.zip
ES09# Filebeat配置项及吞吐调优项梳理
gaoliang1719的专栏
06-26 1626
引言公司有使用filebeat作为日志采集的agent，然而最近发现其在一些node采集吞吐不足，现就其配置项与吞吐调优进行梳理。本文的主要内容有：Input输入配置项通用以及全局配置项Output输出配置一、Input输入配置项Filebeat支持众多的Inputs，以日志文本类为例梳理其配置项，主要配置项如下：配置项说明type取值log或者filestream，7....
k8s 日志收集、es+ Filebeat +kibala
qq_40178286的博客
06-23 935
k8s 日志收集、es+ Filebeat +kibala
EFK安装(kafka+logstash+es+filebeat+kibana)
xiaowoniuwzx的博客
04-10 760
1.环境：三台liunx7的虚拟机两核 1.关闭防火墙，seten 传入jdk包，并且安装jdk环境（三台都安装） 记着查看一下有没有安装成功 3.修改主机名 4.修改配置文件 看看可以ping通 5.上传kafka，zookeeper包 6.解压zookeeper包，移动包 7.查看信息（不用写解释） 8.创建zookeeper存放路径 9.启动 10.查看（起不来...
使用filebeat采集文件到es中
热门推荐
木子金丰的博客
07-26 2万+
继上一篇logstash采集日志。 之前用logstash做日志采集，但是发现logstash很占用机器资源导致机器运行有点慢。查询资料表明logstash使用Java编写，插件是使用jruby编写，对机器的资源要求会比较高，网上有一篇关于其性能测试的报告。之前做过和filebeat的测试对比。在采集日志方面，对CPU，内存上都要比前者高很多。那么果断使用filebeat作为替代方案。走起！ ...
Elastic Stack学习笔记7-生产环境部署建议
ilwoziji的博客
03-02 301
遵照官网文档的建议设置所有的系统参数参见文档，"Setup Elasticsearch -> Important System Configuration"。例如：关掉swap、增大文件描述符等。
filebeat将收集的日志存储在指定es索引库并在kibana上展示日志数据（三）
江晓龙的博客
06-07 3367
filebeat指定es创建索引的名称并在kibana上展示日志数据 1.为什么要指定索引库名称 由于一台机器上不止一个应用服务，比如web机器，上面一定会有tomcat、nginx、redis这种服务，如果我们不指定每个应用收集来的日志存放在es集群中的索引名的话，filebeat会将所有的日志存放在一个叫filebeat-xxx的索引库中，这样一来，我们想针对性的看某一个应用的日志将会非常困难 因此就需要当filebeat收集完日志存放在es时，指定不同应用对应的不同索引名，这样就能实现tomcat在t
wordpress文章评分插件rate-my-post本地安装指南
- **2.10.3**: 这表示我们讨论的是rate-my-post插件的2.10.3版本。 ### WordPress插件功能与应用 - **文章评分机制**: 插件的主要功能是为Wordpress网站上的文章添加评分系统，用户可以通过这个系统对文章进行评分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值