轻量级大数据日志采集系统比较:LogAgent、FileBeat、Fluentd

 LogAgentFileBeatFluentd
语言JSGoRuby
star2928.6K8.9K
代码更新
产品所属SematextElasticFluentd
是否支持自动发现
是否能采集syslog
k8s部署DaemonSetDaemonSetDaemonSet
是否支持容器采集(官网没有)
是否支持win系统日志(若采集,需要Winlogbeat)
输出的数据格式JsonJsonJson
支持的输出接口Files/http/kafka/ES/MQTT/influxDBFile/kafka/ES/redis/console/logstashFile/http/kafka/ES/mongo
是否可可视化配置
是否支持缓存
可扩展性插件化插件化插件化
易用性不够细详细详细
脱敏功能
语言绑定Node.js-Java/ruby/python/perl/php/node.js/scala
日志完整性带磁盘缓冲区,网络恢复日志重传at-least-once机制重试机制

以上三种均为轻量级开源日志采集器;

FileBeat支持自动发现功能,主要针对docker 和 K8S 容器日志发现;

三者都具有数据过滤功能;

Fluentd对于小的或者嵌入式的设备,可能需要看看 Fluent Bit;

LogAgent和FileBeat具备IP解析能力;

 

LogAgent:

   GitHub 地址:https://github.com/sematext/logagent-js

   在线文档:https://sematext.com/docs/logagent/

 

FileBeat:

   GitHub 地址:https://github.com/elastic/beats/tree/master/filebeat

   在线文档:https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-getting-started.html

 

Fluentd:

   GitHub 地址:https://github.com/fluent/fluentd/

   在线文档:https://docs.fluentd.org/

Fluentd着实功能强大,但是ruby开发,感觉LogAgent 是fileBeat 的node版本,最终选择新秀 LogAgent。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值