Logstash,Filebeat,Spark Streaming,Kafka简要
Logstash(data collector,数据收集器)不负责生产数据、不负责存储数据,只是数据的搬运工。一种实时的大数据采集组件,即插即用。通常,logstash做为数据泵,泵出日志数据,logstash本身可以实时的对数据做一定强度和复杂度的适配和封装(定制成格式化的JSON帧),即进行标准化工作。logstash是行业内老牌的数据采集器。logstash本身是JRuby实现的,JRuby跑在JVM之上,在logstash早期的版本中,由于JVM和logstash两者的原因,性能在长期连续运行
原创
2022-07-11 23:33:00 ·
601 阅读 ·
0 评论