日志收集之rsyslog to kafka

项目需要将日志收集起来做存储分析，数据的流向为rsyslog（收集） -> kafka（消息队列） -> logstash(清理) -> es、hdfs； 今天我们先将如何利用rsyslog进行日志收集到kafka。

一、环境准备

通过对 rsyslog官方文档 查看,得知 rsyslog对 kafka的支持是 v8.7.0版本后才提供的支持.通过 ChangeLog 也可以看出 V8.X的版本变化.
最新V8稳定版已经提供RPM包的Rsyslog-kafka插件了,直接yum安装即可,添加yum源：

1. [rsyslog_v8]

2. name=Adiscon CentOS-$releasever - local packages for $basearch

3. baseurl=http://rpms.adiscon.com/v8-stable/epel-$releasever/$basearch

4. enabled=1

5. gpgcheck=0

6. gpgkey=http://rpms.adiscon.com/RPM-GPG-KEY-Adiscon

7. protect=1

8.  

添加后 yum install rsyslog rsyslog-kafka.x86_64即可完成安装。

二、配置

1. 处理原则

• input submit received messages to rulesets, zero or many
• ruleset contains rule, rule consist of a filter and an action list
• actions consist of the action call itself (e.g. ”:omusrmsg:”) as well as all action-defining configuration statements ($Action... directives)

2. Statement Types 表达式类型

通常利用RainerScript type statements进行非常简洁明了的配置声明，例如：

1. mail.info /var/log/mail.log

2.  

3. 流程控制

• Control structures
• 过滤条件
  1. Selector: 传统方式，格式如下:
     <facility>[,facility...][,*].[=,!]<priority>[,priority...][,*];<facility>[,facility...][,*].[=|!]<priority>[,priority...][,*]...
     其中默认facility为auth, authpriv, cron, daemon, kern, lpr, mail, mark, news, security (same as auth), syslog, user, uucp and local0 through local7；
     默认priority为debug, info, notice, warning, warn (same as warning), err, error (same as err), crit, alert, emerg, panic (same as emerg)；
     2） Property-based filters： new filter type. 形式如下：
     :property, [!]compare-operation, "value"
     分别对应 名字，比较符， 需要对比的字段。比较符包括 contains, isequal, startswith, regex, ereregex
     3） Expression based filters:
     if expr then action-part-of-selector-line
  2. BSD-style blocks:
  3. 例子： if $syslogfacility-text == 'local0' and $msg startswith 'DEVNAME' and not ($msg contains 'error1' or $msg contains 'error0') then /var/log/somelog

4. 数据处理:支持set, unset, reset操作

备注： Only message json (CEE/Lumberjack) properties can be modified by the set, unset andreset statements

5. input

有很多种input模块, 我们以imfile模块为例, 此模块将所有的文本文件内容逐行转到syslog中.

input(type="imfile" tag="kafka" file="analyze.log" ruleset="imfile-kafka"[, Facility=local.7])

6. outputs

也叫作actions， 处理动作，格式如下

1. action (

2. type="omkafka"

3. topic="kafka_test"

4. broker="10.120.169.149:9092"

5. )

6.  

7. Rulesets and Rules

Rulesets包括多条rule，一条规则就是rsyslog处理消息的一种方式, 每个规则包含filter和actions

1. input(type="imfile" tag="kafka" file="analyze.log" ruleset="rulesetname")

2. ruleset(name="rulesetname") {

3. action(type="omfile" file="/path/to/file")

4. action(type="..." ...)

5. /* and so on... */

6. }

通过input里面的ruleset配置，将输入流进入ruleset进行规则匹配，然后执行action操作，完成对流的处理。

8. Queue parameters

将不同的输入流进入不同的队列并行处理数据，通常在ruleset或者action中配置，默认只有一个队列。配置参数例子

1. action(type="omfwd" target="192.168.2.11" port="10514" protocol="tcp"

2. queue.filename="forwarding" queue.size="1000000" queue.type="LinkedList"

3. )

4.  
5.  

9. templates

这是rsyslog一个重要的特性，它可以让用户自定义输入流格式，同样也可以用于动态生成日志文件， 默认是原始格式。
一般表达式如下：
template(parameters) { list-descriptions }

• list : 列表模板，包含name, type="list"， 多个constant和property对。

1. template(name="tpl1" type="list") {

2. constant(value="Syslog MSG is: '")

3. property(name="msg")

4. constant(value="', ")

5. property(name="timereported" dateFormat="rfc3339" caseConversion="lower")

6. constant(value="\n")

7. }

• string: 字符串自定义格式模块， 由name, type="string", string="<onstant text and replacement variables>"， 例如

%TIMESTAMP:::date-rfc3339% %HOSTNAME%%syslogtag%%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n"

将每个日志字段通过自定义变量和处理方式（property replacer）得到全局能读取的日志变量。

注意：

1. 原始格式： v6之前的格式，$template strtpl,"PRI: %pri%, MSG: %msg%\n"。
2. 利用action里的template参数将templates和action进行绑定，如
   action(template=TEMPLATENAME,type="omfile" file="/var/log/all-msgs.log")

三. 实例

增加一个将nginx access日志通过rsyslog传输到kafka的实例，将nginx_kafka.conf放入到/etc/rsyslog.d目录中，重启rsyslog即可。

1. # 加载omkafka和imfile模块

2. module(load="omkafka")

3. module(load="imfile")

4.  

5. # nginx template

6. template(name="nginxAccessTemplate" type="string" string="%hostname%<-+>%syslogtag%<-+>%msg%\n")

7.  

8. # ruleset

9. ruleset(name="nginx-kafka") {

10. #日志转发kafka

11. action (

12. type="omkafka"

13. template="nginxAccessTemplate"

14. confParam=["compression.codec=snappy", "queue.buffering.max.messages=400000"]

15. partitions.number="4"

16. topic="test_nginx"

17. broker="10.120.169.149:9092"

18. queue.spoolDirectory="/tmp"

19. queue.filename="test_nginx_kafka"

20. queue.size="360000"

21. queue.maxdiskspace="2G"

22. queue.highwatermark="216000"

23. queue.discardmark="350000"

24. queue.type="LinkedList"

25. queue.dequeuebatchsize="4096"

26. queue.timeoutenqueue="0"

27. queue.maxfilesize="10M"

28. queue.saveonshutdown="on"

29. queue.workerThreads="4"

30. )

31. }

32.  

33. # 定义消息来源及设置相关的action

34. input(type="imfile" Tag="nginx,aws" File="/var/log/access.log" Ruleset="nginx-kafka")

检查conf文件是否正确可以运行rsyslogd debug模式rsyslogd -dn运行，看日志输出结果，或者直接运行rsyslogd -N 1检查conf文件是否正确。