logstash 使用grok正则解析日志

最新推荐文章于 2024-05-15 11:03:04 发布
最新推荐文章于 2024-05-15 11:03:04 发布
阅读量2.5k 收藏 1
点赞数
分类专栏： Logstash
Logstash 专栏收录该内容
97 篇文章 32 订阅 ¥39.90 ¥99.00
订阅专栏
本文介绍了如何使用Logstash的grok过滤器解析日志，包括正则表达式示例、配置文件编写，以及Logstash内置的正则模式。通过自定义或利用内置正则，可以有效地解析不同格式的日志。
摘要由CSDN通过智能技术生成 
http://xiaorui.cc/2015/01/27/logstash%E4%BD%BF%E7%94%A8grok%E6%AD%A3%E5%88%99%E8%A7%A3%E6%9E%90%E6%97%A5%E5%BF%97%E9%81%87%E5%88%B0%E7%9A%84%E9%97%AE%E9%A2%98/
http://grokdebug.herokuapp.com/
demo:http://www.tuicool.com/articles/M7ryEv
Logstash 最佳实践：http://udn.yyuap.com/doc/logstash-best-practice-cn/filter/grok.html
logstash filter 语法：
Example

下面是日志的样子
55.3.244.1 GET /index.html 15824 0.043

正则的例子
%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}

配置文件里是怎么写得？ 

input {
  file {
    path => “/var/log/http.log”
  }
}
filter {
  grok {
    match => [ "message", "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" ]
  }
}

解析后，是个什么样子？ 

client: 55.3.244.1
method: GET
request: /index.html
bytes: 15824
duration: 0.043


自定义正则


(?<field_name>the pattern here)

(?<queue_id>[0-9A-F]{10,11})

当然你也可以把众多的正则，放在一个集中文件里面。 
# in ./patterns/postfix 
POSTFIX_QUEUEID [0-9A-F]{10,11}

filter {
  grok {
    patterns_dir => “./patterns”
    match => [ "message", "%{SYSLOGBASE} %{POSTFIX_QUEUEID:queue_id}: %{GREEDYDATA:syslog_message}" ]
  }
}

############


logstash已经自带了不少的正则，如果想偷懒的话，可以在内置正则里借用下。 

USERNAME [a-zA-Z0-9._-]+
USER %{USERNAME}
INT (?:[+-]?(?:[0-9]+))
BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER (?:%{BASE10NUM})
BASE16NUM (?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT \b(?<![0-9A-Fa-f.])(?:[+-]?(?:0x)?(?:(?:[0-9A-Fa-f]+(?:\.[0-9A-Fa-f]*)?)|(?:\.[0-9A-Fa-f]+)))\b

POSINT \b(?:[1-9][0-9]*)\b
NONNEGINT \b(?:[0-9]+)\b
WORD \b\w+\b
NOTSPACE \S+
SPACE \s*
DATA .*?
GREEDYDATA .*
QUOTEDSTRING (?>(?<!\\)(?>”(?>\\.|[^\\"]+)+”|”"|(?>’(?>\\.|[^\\']+)+’)|”|(?>(?>\\.|[^\]+)+)|`))
UUID [A-Fa-f0-9]{8}-(?:[A-Fa-f0-9]{4}-){3}[A-Fa-f0-9]{12}

# Networking
MAC (?:%{CISCOMAC}|%{WINDOWSMAC}|%{COMMONMAC})
CISCOMAC (?:(?:[A-Fa-f0-9]{4}\.){2}[A-Fa-f0-9]{4})
WINDOWSMAC (?:(?:[A-Fa-f0-9]{2}-){5}[A-Fa-f0-9]{2})
COMMONMAC (?:(?:[A-Fa-f0-9]{2}:){5}[A-Fa-f0-9]{2})
IPV6 ((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4}:){6}(:[0-9A-Fa-f]{1,4}|((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){5}(((:[0-9A-Fa-f]{1,4}){1,2})|:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){4}(((:[0-9A-Fa-f]{1,4}){1,3})|((:[0-9A-Fa-f]{1,4})?:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){3}(((:[0-9A-Fa-f]{1,4}){1,4})|((:[0-9A-Fa-f]{1,4}){0,2}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){2}(((:[0-9A-Fa-f]{1,4}){1,5})|((:[0-9A-Fa-f]{1,4}){0,3}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){1}(((:[0-9A-Fa-f]{1,4}){1,6})|((:[0-9A-Fa-f]{1,4}){0,4}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(:(((:[0-9A-Fa-f]{1,4}){1,7})|((:[0-9A-Fa-f]{1,4}){0,5}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:)))(%.+)?
IPV4 (?<![0-9])(?:(?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2}))(?![0-9])
IP (?:%{IPV6}|%{IPV4})
HOSTNAME \b(?:[0-9A-Za-z][0-9A-Za-z-]{0,62})(?:\.(?:[0-9A-Za-z][0-9A-Za-z-]{0,62}))*(\.?|\b)
HOST %{HOSTNAME}
IPORHOST (?:%{HOSTNAME}|%{IP})
HOSTPORT (?:%{IPORHOST=~/\./}:%{POSINT})

# paths
PATH (?:%{UNIXPATH}|%{WINPATH})
UNIXPATH (?>/(?>[\w_%!$@:.,-]+|\\.)*)+
TTY (?:/dev/(pts|tty([pq])?)(\w+)?/?(?:[0-9]+))
WINPATH (?>[A-Za-z]+:|\\)(?:\
^\\?*]*)+ 
URIPROTO [A-Za-z]+(\+[A-Za-z+]+)? 
URIHOST %{IPORHOST}(?::%{POSINT:port})? 
# uripath comes loosely from RFC1738, but mostly from what Firefox 
# doesn’t turn into %XX 
URIPATH (?:/[A-Za-z0-9$.+!*'(){},~:;=@#%_\-]*)+ 
#URIPARAM \?(?:[A-Za-z0-9]+(?:=(?:[^&]*))?(?:&(?:[A-Za-z0-9]+(?:=(?:[^&]*))?)?)*)? 
URIPARAM \?[A-Za-z0-9$.+!*’|(){},~@#%&/=:;_?\-\[
]*
URIPATHPARAM %{URIPATH}(?:%{URIPARAM})?
URI %{URIPROTO}://(?:%{USER}(?::[^@]*)?@)?(?:%{URIHOST})?(?:%{URIPATHPARAM})?

# Months: January, Feb, 3, 03, 12, December
MONTH \b(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|Jun(?:e)?|Jul(?:y)?|Aug(?:ust)?|Sep(?:tember)?|Oct(?:ober)?|Nov(?:ember)?|Dec(?:ember)?)\b
MONTHNUM (?:0?[1-9]|1[0-2])
MONTHDAY (?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9])

# Days: Monday, Tue, Thu, etc…
DAY (?:Mon(?:day)?|Tue(?:sday)?|Wed(?:nesday)?|Thu(?:rsday)?|Fri(?:day)?|Sat(?:urday)?|Sun(?:day)?)

# Years?
YEAR (?>\d\d){1,2}
HOUR (?:2[0123]|[01]?[0-9])
MINUTE (?:[0-5][0-9])
# ’60′ is a leap second in most time standards and thus is valid.
SECOND (?:(?:[0-5][0-9]|60)(?:[:.,][0-9]+)?)
TIME (?!<[0-9])%{HOUR}:%{MINUTE}(?::%{SECOND})(?![0-9])
# datestamp is YYYY/MM/DD-HH:MM:SS.UUUU (or something like it)
DATE_US %{MONTHNUM}[/-]%{MONTHDAY}[/-]%{YEAR}
DATE_EU %{MONTHDAY}[./-]%{MONTHNUM}[./-]%{YEAR}
ISO8601_TIMEZONE (?:Z|[+-]%{HOUR}(?::?%{MINUTE}))
ISO8601_SECOND (?:%{SECOND}|60)
TIMESTAMP_ISO8601 %{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?
DATE %{DATE_US}|%{DATE_EU}
DATESTAMP %{DATE}[- ]%{TIME}
TZ (?:[PMCE][SD]T|UTC)
DATESTAMP_RFC822 %{DAY} %{MONTH} %{MONTHDAY} %{YEAR} %{TIME} %{TZ}
DATESTAMP_OTHER %{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{TZ} %{YEAR}

# Syslog Dates: Month Day HH:MM:SS
SYSLOGTIMESTAMP %{MONTH} +%{MONTHDAY} %{TIME}
PROG (?:[\w._/%-]+)
SYSLOGPROG %{PROG:program}(?:
)?
SYSLOGHOST %{IPORHOST}
SYSLOGFACILITY <%{NONNEGINT:facility}.%{NONNEGINT:priority}>
HTTPDATE %{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME} %{INT}

# Shortcuts
QS %{QUOTEDSTRING}

# Log formats
SYSLOGBASE %{SYSLOGTIMESTAMP:timestamp} (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:
COMMONAPACHELOG %{IPORHOST:clientip} %{USER:ident} %{USER:auth}
“(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})” %{NUMBER:response} (?:%{NUMBER:bytes}|-)
COMBINEDAPACHELOG %{COMMONAPACHELOG} %{QS:referrer} %{QS:agent}

# Log Levels
LOGLEVEL ([A-a]lert|ALERT|[T|t]race|TRACE|[D|d]ebug|DEBUG|[N|n]otice|NOTICE|[I|i]nfo|INFO|[W|w]arn?(?:ing)?|WARN?(?:ING)?|[E|e]rr?(?:or)?|ERR?(?:OR)?|[C|c]rit?(?:ical)?|CRIT?(?:ICAL)?|[F|f]atal|FATAL|[S|s]evere|SEVERE|EMERG(?:ENCY)?|[Ee]merg(?:ency)?)

Logstash 最佳实践
http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html
https://www.gitbook.com/book/chenryn/kibana-guide-cn
配置示例

input{
    file {
        path => ["/var/log/*.log", "/var/log/message"]
        type => "system"
        start_position => "beginning"
    }
}
解释
有一些比较有用的配置项，可以用来指定 FileWatch 库的行为：
discover_interval
logstash 每隔多久去检查一次被监听的 path 下是否有新文件。默认值是 15 秒。
exclude
不想被监听的文件可以排除出去，这里跟 path 一样支持 glob 展开。
sincedb_path
如果你不想用默认的 $HOME/.sincedb(Windows 平台上在C:\Windows\System32\config\systemprofile\.sincedb)，可以通过这个配置定义 sincedb 文件到其他位置。
sincedb_write_interval
logstash 每隔多久写一次 sincedb 文件，默认是 15 秒。
stat_interval
logstash 每隔多久检查一次被监听文件状态（是否有更新），默认是 1 秒。
start_position
logstash 从什么位置开始读取文件数据，默认是结束位置，也就是说 logstash 进程会以类似 tail -F 的形式运行。如果你是要导入原有数据，把这个设定改成 "beginning"，logstash 进程就从头开始读取，有点类似cat，但是读到最后一行不会终止，而是继续变成 tail -F。

scan724
关注
专栏目录
订阅专栏
使用Logstash过滤插件Grok直接写正则表达式获取日志数据
江晓龙的博客
07-13 952
我们可以直接在grok的match配置中去编写正则表达式，获取对应的日志数据，通过正则表达式的分组语法来实现。语法配置格式：其中分组名就是我们将过滤出来的日志数据存储到那个字段中，相当于是字段名，re就是具体的表达式内容了。客户端IP字段（第一列）思路：IP一般都是IPV4，由4部分数字组成，每部分数字不超过3位，且每部分以进行分隔我们可以使用匹配出数字类型的内容，然后设置数字数量必须在1-3个之间，每个字段部分以进行分隔匹配，号在正则中表示任意字符，需要使用进行转移。 请求类型字段（第二列）思路：第二列是
使用Logstash过滤插件Grok的内置正则实现日志数据格式化
江晓龙的博客
07-13 1206
格式化之前的日志内容 一条nginx的日志内容，第一列是客户端IP，第二列是请求方式，第三列是请求的URL，第四列是请求的文件大小，第五列是响应时间，如果这条数据不进行格式化，我们是无法针对性的去匹配相应的日志内容，比如想统计出响应时间比较长的页面，我们就需要去筛选第五列了，但是日志不进行格式化，就无法针对第五列去做筛选。kibana上可以针对grok的表达式进行调试点击Management—>开发工具—>grok debugger1）在kibana上使用grok正则调试格式化日志数据Grok模式：数据中第
logstash 切分日志
有道无术，术尚可求，有术无道，止于术。
11-07 1807
日志格式可以大致分为两部分，基本的头信息和json格式的数据，中间以‘|’进行了分割。 2018-08-30 10:41:42,661 ERROR [http-apr-8080-exec-7] [com.intime.soa.framework.auth.AbstractAuthInterceptor 118] - Request <> GET_/favicon.ico | { ...
logstash使用grok正则解析日志
weixin_34275734的博客
07-25 613
为什么80%的码农都做不了架构师？>>> ...
Logstash7.15.1正则提取日志信息（nginx日志及自定义）
liaomingwu的专栏
03-03 2954
Logstash7.15.1正则提取日志信息（nginx日志及自定义）
日志分析logstash插件-grok详解
weixin_34314962的博客
07-20 465
一般系统或服务生成的日志都是一大长串。每个字段之间用空格隔开。logstash在获取日志是整个一串获取，如果把日志中每个字段代表的意思分割开来在传给elasticsearch。这样呈现出来的数据更加清晰，而且也能让kibana更方便的绘制图形。 Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则...
logstash + grok 正则语法
05-24
Logstash是一个数据收集、处理、转发的工具，而Grok是Logstash中用于解析日志的插件，可以通过预定义的模式或自定义正则表达式来解析日志。下面是一些常用的Grok正则语法： 1. 基本语法： %{PATTERN:fieldName}，将...
（四）Logstash收集、解析日志方法
Spider_xiaoma的博客
11-22 2108
官网地址：https://www.elastic.co/guide/en/logstash-versioned-plugins/current/index.html Logstash的基础架构类型为pipeline流水线，如下图所示： INPUT：数据采集（常用插件：stdin、file、kafka、beat.http） FILTER：数据解析/转换（常用插件：Grok正则捕获、Date时间处理、Json编解码、Mutate数据修改等） OUTPUT：数据输出（常用插件：Elasticsearch） C.
logstash grok解析Java log实践
書
07-08 456
-5level：级别从左显示5个字符宽度。%logger{50}包名缩写，%thread表示线程名，%msg：日志消息，
logstash grok(正则表达式)提取日志信息
07-28
logstash grok 添加了自定义的正则表达式，可以提取出日志的等级，日志的时间，日志的线程号
Logstash收集nginx日志并grok进行文本过滤
草莓甜甜圈的博客
07-08 5050
简介 grok作为一个logstash的过滤插件，支持根据正则表达式解析文本日志行，拆成字段message结构化后再存储，方便kibana的搜索和统计。 nginx日志格式 ..... http { include /etc/nginx/mime.types; default_type application/octet-stream; log_f...
全面解析logstash
专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
04-17 1094
Logstash 是一款开源的数据收集引擎，由 Elastic 公司开发，主要用于实时地从多种数据源采集、解析、过滤、转换和输出数据。它是 Elastic Stack（Elasticsearch、Kibana、Logstash 和 Beats）中的一个重要组件，专门用于处理日志、指标和其他半结构化或非结构化数据。Logstash 采用数据管道模型来处理数据。
ELK 日志监控平台环境搭建及使用说明_elk日志监控平台
最新发布
2401_84765537的博客
05-15 845
解压之后，进入logstash目录，创建”conf”目录，编写配置文件。下面以收集分析nginx access 日志为例。配置文件分为三个部分：input，filter，output。三部分文件写，也可写一块此处的正则表达式要和nginx的日志格式相对应，否则会匹配失败，无法将nginx日志离散取值。选项”-f”是logstahsh的配置文件，如果有多个配置文件，也可以是一个目录。%{NUMBER:status:int} 将status字段设为整型，
Grok常用表达式
zhangsaho的博客
12-06 5359
grok默认表达式 Logstash 内置了120种默认表达式，可以查看patterns，里面对表达式做了分组，每个文件为一组，文件内部有对应的表达式模式。下面只是部分常用的。 ...
Logstash：日志解析的 Grok 模式示例
Elastic 中国社区官方博客
04-27 3327
如果没有日志解析，搜索和可视化日志几乎是不可能的，一个被低估的技能记录器需要读取他们的数据。 解析结构化你的传入（非结构化）日志，以便用户可以在调查期间或设置仪表板时搜索清晰的字段和值。 最流行的日志解析语言是 Grok。 你可以使用 Grok 插件在各种日志管理和分析工具比如 Elastic Stack 中解析日志数据。在这里查看我之前的的 Grok 教程。 但是用 Grok 解析日志可能会很棘手。 本博客将研究一些 Grok 模式示例，这些示例可以帮助您了解如何解析日志数据。 开始使用 Gr.
grok语法定义
snail_bi的博客
11-25 2815
grok语法定义 grok默认表达式 Logstash 内置了120种默认表达式，可以查看patterns，里面对表达式做了分组，每个文件为一组，文件内部有对应的表达式模式。下面只是部分常用的。 常用表达式 表达式标识 名称 详情 匹配例子 USERNAME 或 USER 用...
logstash 获取多个kafka_日志工程Logstash日志采集入门篇
weixin_39699912的博客
11-21 719
前言组件介绍 1.Input 2.Filter 3.Output部署优缺点优化 1.基于Logstash自身优化 2.基于插件的优化前言注意：文章中如果涉及到代码的部分，使用PC端阅读更佳哦编写这篇文章的目的是为了后面的日志工程做铺垫，如果是老手可直接跳过这篇文章Logstash已经是很成熟的日志采集技术了，简单来说就是一个pipeline形式的采集。Logstash大体可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值