ElasticSearch
文章平均质量分 92
以实际案例为主
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
小码农叔叔
这个作者很懒,什么都没留下…
展开
-
【微服务】springboot集成ELK使用详解
springboot集成ELK使用详解原创 2024-01-28 17:55:26 · 12080 阅读 · 222 评论 -
【微服务】mysql + elasticsearch数据双写设计与实现
mysql + elasticsearch数据双写设计与实现原创 2023-11-04 18:37:29 · 8756 阅读 · 189 评论 -
【Elasticsearch】es脚本编程使用详解
es脚本编程使用详解原创 2023-10-25 21:08:42 · 5443 阅读 · 224 评论 -
【springboot微服务】Lucence实现Mysql全文检索
Lucence实现Mysql全文检索原创 2023-04-10 20:58:50 · 8179 阅读 · 174 评论 -
springboot 实现elasticsearch索引数据迁移
springboot实现es数据迁移原创 2023-01-08 11:06:55 · 7246 阅读 · 183 评论 -
canal实现mysql数据实时同步es
前言canal是阿里开源的一款用于同步mysql数据到其他数据存储的中间件,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费在搭建mysql服务器主从同步的时候,我们知道,备份服务器如果需要同步master的数据,其底层实现原理是salve监听master的bin_log日志文件,而canal的实现借用了这一思想,将自己的服务伪装成slave服务监听bin_log,从而将...原创 2020-03-29 13:35:25 · 49573 阅读 · 0 评论 -
Java操作es
抽空总结了一下使用Java操作es的使用API,方便后续编写代码参考使用,直接上代码1、启动es和kibana,配合java程序观察操作数据的结果,2、导入pom依赖, <dependency> <groupId>org.elasticsearch</groupId> <artifactId>...原创 2019-10-19 23:30:47 · 53095 阅读 · 0 评论 -
logstash-input-jdbc 同步mysql数据到es
场景在某些搜索类的项目中,经常需要同步mysql的数据到es,方便及时打通两边的数据满足业务上对于数据搜索的需求,通常情况下,可以考虑两种数据同步方案,全量同步或增量同步解决方案在elk的架构中我们了解了logstash的强大作用,可以将logstash作为数据管道,或者理解为连接mysql和es的中间件,logstash的插件库中提供了logstash-input-jdbc,使用该插件可以...原创 2020-03-15 22:05:38 · 10995 阅读 · 0 评论 -
es通过mapping创建索引出错
问题描述:最近,我在es中创建索引的时候报出奇怪的错误,问题描述大致如下,这个错误后来验证后发现不少同学也遇到过,主要是es版本的差异造成的,Caused by: ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=Could not convert [regionNam...原创 2019-03-16 21:38:48 · 45896 阅读 · 0 评论 -
elasticsearch基本操作 --- 使用java操作elasticsearch
随着大数据的兴起,面对越来越多的数据和越来越复杂的业务场景,系统对后端也提出了更高的要求,尤其是用户体验上,低延迟、快速响应已经成为检验后端程序是否高效很重要的标准,在后端的数据存储框架中,elasticsearch原本在海量数据的日志分析中有着较多的运用,在提升查询效率和响应方面有着不俗的表现,由于在业务中也有使用,现在对java操作es的基本使用做一些介绍,以备后续参考;环境准备,windo...原创 2018-12-15 19:36:48 · 45803 阅读 · 0 评论 -
centos7搭建elk
centos7 搭建elk原创 2019-09-04 17:35:03 · 47393 阅读 · 6 评论 -
ElasticSearch之基于地理位置的搜索
在某些时候,我们希望搜索到某个区域内的特定目标建筑物,或者说要查询某个城市某个区内的楼盘等,诸如此类的需求,还有我们看到的在百度地图或者高德地图上,在某个区域内显示出我们关心的数据,都可以算是一种基于地理位置的查询,在es中,可以通过geo_point来实现,其实现原来描述起来很容易理解,如下图所示,当我们只关心一个范围内的所有大学时,可以在地图上显示出一个区域内的所有大学,它主要支持两种类型...原创 2019-08-15 22:32:11 · 3906 阅读 · 1 评论 -
es基于completion suggest实现搜索提示
在之前的某一篇中,我们使用了es的前缀搜索,获得了文档根据前缀进行匹配的效果,如下图所示,下面说说在es中的另一种实现搜索提示的功能,基于completion suggest 进行实现,其在实际应用中搜索性能更加高效,假如文档库里有一堆关于大话西游的,比如,“大话西游电影”,“大话西游小说”,"大话西游舞台剧"等,这里我们需要搜索以"大话西游"开头的文档,1、自定义index,及字段分词属...原创 2019-08-14 22:22:15 · 49631 阅读 · 1 评论 -
es搜索高亮展示
在某些分类电商网站中,经常遇到这样一种需求,对搜索出来的数据的某些字段进行高亮展示,这样让产品的某些属性和特点更加容易受到关注,也就是突出商品卖点在电商或分类网站中,由于要加载的数据量大,如果后端通过程序做处理,这将比较费时费力,而且性能会受到影响,通过比较流行的做法是,通过es的某些特性直接在es查询的时候进行处理,页面拿到经过特殊处理的数据就可以直接展示了,下面就来说说es中关于高亮展示的...原创 2019-08-14 21:48:22 · 52364 阅读 · 0 评论 -
springboot整合es启动报错的问题
今天打算用springboot整合es创建一个索引并往索引里面写数据的时候,项目启动的时候一直报下面的这个错误,错误大概如下,Caused by: org.springframework.beans.BeanInstantiationException: Failed to instantiate [org.elasticsearch.client.transport.TransportClie...原创 2019-03-17 13:05:53 · 22511 阅读 · 0 评论 -
es批量查询
在es中查询数据,可以根据id或者其他的字段名称单条查询,比如像像下面的这样,通过id查询,根据其他的字段名称进行查询道理也是如此,在上一篇中我们已经简单使用过,但在实际应用中,比如我们要查询某个索引某个type下面的数据,假如提前知道这个type里面的相关字段的数据,就可以通过_mget的方式进行批量查询数据,批量查询的好处不用多说大家也明白,减少网络请求,提升查询效率和性能,下面来看看如何...原创 2019-07-02 21:50:48 · 14254 阅读 · 2 评论 -
es索引重建与迁移
在es中对于某个创建好的索引,尤其是里面的field的类型在初次设置完毕并添加了数据之后,再想重新修改字段类型是比较麻烦的一件事,而且现实问题是,es的某个索引存储的数据量非常大,非特殊情况下是没有必要更换索引的,但在一些特定的场景下,比如误操作导致索引类型创建有误,text类型的被创建成long了,或者是为了完成索引到数据的迁移但又不能影响线上的应用,就需要对index进行迁移;在es中,迁移...原创 2019-07-08 23:13:40 · 12790 阅读 · 1 评论 -
es复合条件查询
在es中,使用组合条件查询是其作为搜索引擎检索数据的一个强大之处,在前几篇中,简单演示了es的查询语法,但基本的增删改查功能并不能很好的满足复杂的查询场景,比如说我们期望像mysql那样做到拼接复杂的条件进行查询该如何做呢?es中有一种语法叫bool,通过在bool里面拼接es特定的语法可以做到大部分场景下复杂条件的拼接查询,也叫复合查询首先简单介绍es中常用的组合查询用到的关键词,filte...原创 2019-07-14 13:26:26 · 82436 阅读 · 2 评论 -
es 基本API操作使用
es的操作其实并不难,但是要彻底全面的掌握es,还需要深入的研究其强大的restful查询语法,也称作DSL语法,属于es语言独有,下面我们用一个简单的案例模拟es的增删改查基本操作,体会一下其中的用法,我们这里有这样一个场景,假设我们要操作一个商品,商品的牙膏,既然是商品,当然会有基本的信息吧,比如名称,描述,价格之类的,我们以此为背景来操作,在操作之前,我们需要简单明确几个基本概念,在es...原创 2019-06-30 23:36:12 · 45470 阅读 · 2 评论 -
es自定义分词器
es自带了一些分词器,即在默认情况下,如果不对自己创建的索引做任何的设置和修改,es会按照standard进行分词,怎么看我们自己创建的分词的相关设置和属性呢?首先看下面的一个例子1、创建一个新的索引,company,type为employee,并插入一条数据,我们队这个索引不做额外的设置时插入成功后,我们看一下系统的默认分词类型,GET company/_mapping/employee...原创 2019-07-06 18:12:19 · 20475 阅读 · 1 评论 -
es实现近实时搜索推荐的两种方式
在百度搜索框里面,当我们输入某个关键字或关键词的时候,基本上不需要等待多久【秒级】,当然网络太差就不说了,就可以马上列出一大堆相关的词句,这些是怎么实现的呢总的来说,实现方式有两种,第一种,实时ajax请求后端接口,即鼠标弹起事件触发,但对于数据量特别大的网站基本上不可能;第二种方式就是搜索引擎来实现了,至于百度的搜索引擎是什么样的,我们无从得知,但是和es的搜索原理应该类似,拿到短语或者句子...原创 2019-07-19 23:33:57 · 39489 阅读 · 0 评论 -
es安装IK中文分词器
没有中文分词器,我们使用es的时候会觉得乐趣少了很多,同时在业务中也有很多不方便的地方,es中对于字符串的默认内置分词是standard类型的,但是这对于中文来说就无能为力了,下面简单介绍一下es中怎么安装IK分词器插件;1、首先我们需要获取IK分词器的zip包,获取包的步骤如下,(1)git clone https://github.com/medcl/elasticsearch-analy...原创 2019-07-25 23:13:43 · 9596 阅读 · 0 评论 -
es聚合查询与多维度数据统计
首先要弄清楚两个概念,聚合与搜索搜索即从一个索引下按照特定的字段或关键词搜索出符合用户预期的一个或者一堆cocument,然后根据文档的相关度得分,在返回的结果集里并根据得分对这些文档进行一定的排序聚合根据业务需求,对文档中的某个或某几个字段进行数据的分组并做一些指标数据的统计分析,比如要计算一批文档中某个业务字段的总数,平均数,最大最小值等,都属于聚合的范畴以上两个概念后是理解下...原创 2019-07-28 10:16:06 · 72411 阅读 · 3 评论 -
es使用pencentiles对网站访问延时统计
在实际业务中,可能会遇到这样的需求,基于IP或者区域统计不同地区的网站网站访问量,根据访问量的不同指标,指导线上服务部署的优化等,需求:比如有一个网站,记录下了每次请求的访问的耗时,需要统计tp50,tp90,tp99tp50:50%的请求的耗时最长在多长时间tp90:90%的请求的耗时最长在多长时间tp99:99%的请求的耗时最长在多长时间在es中,有一个叫pencentiles ...原创 2019-07-28 21:07:56 · 46950 阅读 · 0 评论 -
基于centos6.5安装ElasticSearch
基于centos6.5安装ElasticSearch原创 2018-09-11 11:38:48 · 2664 阅读 · 2 评论