ELK
关注
分享
扫一扫
文章平均质量分 94
ElaseticSearch，logstash，Kibana等相关知识
超级侠哥
这个作者很懒，什么都没留下…
展开
-
通过Logstash从ElasticSearch消费数据存储至Mysql
版本说明：组件 版本 ElasticSearch 6.8.4 Logstash 6.2.3 Mysql 5.7.26 1、logstash-output-jdbc插件安装Logstash相关原理参看官网：https://www.elastic.co/guide/en/logstash/6.8/index.html，因Logstash的output暂时不支持jdbc，故这里我们需要引入第三方插件。网上搜索logstash-output-jdbc插件来源于：htt原创 2022-05-18 09:29:25 · 827 阅读 · 0 评论 -
elasticsearch2.4升级至5.2.2版本，SearcherSourceBuilder的json字符串转成SearcherSourceBuilder对象
最近在做一个项目的ES版本升级，从2.4升级至5.2版。由于升级版本跨度比较大，一些Java api都已经废弃了。原来的api，SearchRequestBuilder支持setSource()参数为json格式的字符串。（1）ES2.4SearchRequestBuilder setSource方法public SearchRequestBuilder setSource(String source) { request.source(source); retu.原创 2020-06-07 18:39:18 · 1894 阅读 · 2 评论 -
ES 单元测试案例
import org.elasticsearch.cluster.ClusterModule;import org.elasticsearch.common.io.stream.NamedWriteableRegistry;import org.elasticsearch.common.xcontent.NamedXContentRegistry;import org.elasticsea...翻译 2020-04-09 17:37:37 · 1440 阅读 · 0 评论 -
elasticsearch_export Metrics含义
最近需要做elasticsearch监控相关的需求，采用elasticsearch_export采集es的各项监控指标，供后续prometheus、grafana、kibana等展示。现特意梳理elasticsearch_export metrics各字段含义，具体参看https://github.com/justwatchcom/elasticsearch_exporter。Name ...原创 2020-03-19 10:40:32 · 1975 阅读 · 0 评论 -
Lucene列式存储格式DocValues详解
DocValues是在Lucene4.0引入的新特性，属于正向索引。它存储文档编号到字段值正向关系的索引，意在取代FieldCache在搜索时所发挥的作用，消除搜索时需要加载倒排索引构建FieldCache而引起的性能问题。相当于将FieldCache的构建下推至索引时，以空间换时间，从而获得更高的搜索性能。倒排索引是搜索的核心，而正向索引则为搜索结果的排序和统计等搜索结果加工过程提供了有力帮助。...转载 2019-08-27 21:30:01 · 1859 阅读 · 3 评论 -
Kibana7.3.0试用
1.安装ElasticSearch7.3.0安装步骤参看：https://blog.csdn.net/znb769525443/article/details/994729622.安装kibana-7.3.0-linux-x86_64下载链接：https://www.elastic.co/cn/downloads/kibana3.配置和启动vim config/kibana....原创 2019-08-13 22:44:19 · 513 阅读 · 0 评论 -
ElasticSearch7.3.0安装及监控工具Cerebro-0.8.4
1.官网下载相应软件elasticsearch7.3.0：https://www.elastic.co/cn/downloads/elasticsearchcerebro-0.8.4：https://github.com/lmenezes/cerebro/releasesjdk1.8：https://www.oracle.com/technetwork/java/javase/down...原创 2019-08-13 21:33:24 · 1514 阅读 · 0 评论 -
Elasticsearch 的跨集群复制架构
什么是 Elasticsearch 的跨集群复制CCR - Cross Cluster Replication - 跨集群复制是 Elasticsearch v6.5 发布的一个新的特性，这个特性可以让你将一个集群的索引数据同步复制到远程的另外一个集群上面去。或者反过来，将一个远程的集群的索引数据同步的复制到本地 Elasticsearch 集群中来。集群复制类似于数据订阅的方式，一个集群的数...转载 2019-05-31 20:25:20 · 2491 阅读 · 0 评论 -
滴滴Elasticsearch多集群架构实践
Elasticsearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。滴滴 Elasticsearch 简介滴滴 2016 年初开始构建 Elasticsearch 平台，如今已经发展到超过 3500+ Elastics...转载 2019-05-31 20:20:42 · 506 阅读 · 0 评论 -
Elasticsearch 压测方案— esrally 简介
由于 Elasticsearch（后文简称es） 的简单易用及其在大数据处理方面的良好性能，越来越多的公司选用 es 作为自己的业务解决方案。然而在引入新的解决方案前，不免要做一番调研和测试，本文便是介绍官方的一个 es 压测工具 esrally，希望能为大家带来帮助。为什么要压测？关于压测，我们先来看下百度百科上的一个定义。压测，即压力测试，是确立系统稳定性的一种测试方法，通常在系...转载 2019-05-31 20:05:32 · 4033 阅读 · 0 评论 -
如何看懂ES的GC日志
如果你关注过 elasticsearch 的日志，可能会看到如下类似的内容：[2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] collecting in the last [2.3s][2018-06-30T17:57:29...转载 2019-05-31 19:35:32 · 5379 阅读 · 0 评论 -
ES处理failed shard on node [xxxxxx]: failed recovery报错
今天，ES集群有个节点挂了，集群状态一下子就red了，重新启动后，等了许久，发现始终有几个分片无法恢复，运行命令如下：curl -XGET localhost:9200/_cluster/allocation/explain?pretty { "index" : "twitter", "shard" : 0, "primary" : true, "curren...原创 2019-01-31 17:15:47 · 11538 阅读 · 4 评论 -
使用SSHFS挂载远程目录
SSHFS（Secure Shell FileSystem）是一种允许用户通过SSH协议安全访问远程文件系统的工具。本指南将帮助您开始使用Linode上的SSHFS。SSHFS可以消除使用FTP/SFTP与远程服务器之间传输文件的需要。对于本指南，您需要在Linode上运行SSH守护程序。如果您没有SSH守护程序，请在返回本指南之前访问“ 保护您的服务器”。对于本指南，我们使用了两个Ubuntu ...翻译 2019-01-24 19:55:15 · 1856 阅读 · 0 评论 -
PB级Elasticsearch集群中的最佳分片放置
Meltwater和Fairhair.ai两个信息检索系统的核心是包含数十亿社交媒体帖子和社论文章的Elasticsearch集群。我们集群中的索引分片在访问模式、工作负载和大小方面差异很大，这带来了一些非常有趣的挑战。此博客文章描述了我们如何使用线性优化建模在群集中的所有节点上尽可能均匀地分布搜索和索引工作负载。我们的解决方案使硬件利用率更均匀，且降低了单个节点成为瓶颈的可能性。因此，我们改善了...翻译 2019-01-24 19:31:51 · 441 阅读 · 0 评论