![](https://img-blog.csdnimg.cn/20200106233647923.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Elasticsearch
文章平均质量分 96
es
有梦想的攻城狮
既然选择了远方,留给别人的就只能是背影
展开
-
Logstash输入Kafka输出Es配置
Logstash是一个开源的数据收集引擎,具有实时管道功能。它可以从各种数据源中动态地统一和标准化数据,并将其发送到你选择的目的地。Logstash的早期目标主要是用于收集日志,但现在的功能已经远远超出这个范围。任何事件类型都可以通过Logstash进行分析,通过输入、过滤器和输出插件进行转换。Logstash的工作原理是使用管道方式进行日志的搜集处理和输出。这个管道包括三个阶段:输入、处理和输出。输入插件从数据源那里消费数据,过滤器插件根据你的期望修改数据,输出插件将数据写入目的地。原创 2023-12-12 23:09:20 · 3023 阅读 · 1 评论 -
Kafka使用指南
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。它是一种高吞吐量的分布式发布订阅消息系统,可以处理消费者在网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。Kafka中的消息被归类为不同的主题,每个主题有若干个分区。原创 2023-12-06 23:52:47 · 1972 阅读 · 50 评论 -
Logstash使用指南
Logstash是一个开源数据收集引擎,具有实时管道功能。它可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。尽管Logstash的早期目标是搜集日志,现在它的功能已完全不只于此。任何事件类型都可以加入分析,通过输入、过滤器和输出插件进行转换。与此同时,还提供了很多原生编解码工具简化消息处理。Logstash通过海量数据处理和多种多样的数据格式支持延伸了我们对数据的洞察力。集中、转换和存储数据是Logstash的典型用法。输入:采集各种样式、大小和来源的数据。原创 2023-11-30 23:54:57 · 2545 阅读 · 56 评论 -
Filebeat使用指南
Filebeat是使用Golang实现的轻量型日志采集器,也是Elasticsearch stack的一员。它可以作为一个agent安装在各个节点上,根据配置读取对应位置的日志,并上报到相应的地方去。Filebeat的可靠性很强,可以保证日志至少一次的上报,同时也考虑了日志搜集中的各类问题,例如日志断点续读、文件名更改、日志截断等。Filebeat并不依赖于Elasticsearch,可以单独存在。原创 2023-12-02 16:42:34 · 2525 阅读 · 42 评论 -
Kibana使用指南
Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。可以用Kibana搜索、查看、交互存放在Elasticsearch索引里的数据,使用各种不同的图表、表格、地图等,Kibana能够很轻易地展示高级数据分析与可视化。Kibana的简单、基于浏览器的接口可以快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘。此外,安装Kibana非常快,可以在几分钟之内安装和开始探索相关数据,不需要写任何代码,没有其他基础软件依赖。原创 2023-12-01 23:57:59 · 2087 阅读 · 9 评论 -
Elasticsearch使用指南
工作中越来越多的使用到了搜索相关的功能,作为一个Java开发者,你一定知道之前很好用的一个Java编写的搜索引擎,名字叫Solr;但是,现>在越来越多的Java开发者将项目中的首选搜索引擎改成了Elasticsearch,主要是在实时搜索方面,Elasticsearch的查询速度方面平均比Solr高了50倍左右,不过这只是其中的一个原因吧,其它的原因需要每一位开发者去深入探究啦,下面我来大致...原创 2019-03-08 01:14:14 · 1195 阅读 · 2 评论