赵英超的博客

相互学习,共同进步

图解 Elasticsearch

内容 图解ElasticSearch 图解Lucene 搜索发生时 缓存的故事 在Shard中搜索 如何Scale 一个真实的请求 参考 摘要 先自上而下,后自底向上...

2018-12-27 20:48:16

阅读数 47

评论数 0

elasticsearch集群管理指南

一、集群规划 搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个副本? 下面我们就来分析和回答这几个问题 1、我们需要多大规模的集群? 需要从以...

2018-11-01 21:00:20

阅读数 160

评论数 0

ElasticSearch最全分词器比较及使用方法

介绍:ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Elasticsearch 是用 Java 开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能...

2018-11-01 15:00:05

阅读数 12681

评论数 2

IK Analyzer ES使用

https://github.com/medcl/elasticsearch-analysis-ik Analyzer: ik_smart , ik_max_word , Tokenizer: ik_smart , ik_max_word IK Analyzer是一个开源的,基于java语言开...

2018-11-01 14:56:26

阅读数 162

评论数 0

ES调优经验分享

集群规划 独立的master节点,不存储数据, 数量不少于2 数据节点(Data Node) 查询节点(Query Node),起到负载均衡的作用 Linux系统参数配置 文件句柄 Linux中,每个进程默认打开的最大文件句柄数是1000,对于服务器进程来说,显然太小,通过修改/etc/...

2018-10-19 16:36:18

阅读数 177

评论数 0

ES倒排索引与三种Cache详细介绍

网上看到的一篇文章,对Lucene的倒排索引是如何执行的,说的比较易懂,就转过来分享下。 Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好,比如年龄在18和30之间,性别为女性这样的组合查询。倒排索引很多地方都有介绍,但是其...

2018-10-16 17:46:20

阅读数 180

评论数 0

ES倒排索引与分词详解

倒排索引 正排索引:文档id到单词的关联关系 倒排索引:单词到文档id的关联关系 示例: 对以下三个文档去除停用词后构造倒排索引   image 倒排索引-查询过程 查询包含“搜索引擎”的文档 通过倒排索引获得“搜索引擎”对应的文档id列表,有1,3 通过正排索引查询1和3的完...

2018-10-16 16:55:51

阅读数 264

评论数 0

ES Mapping、字段类型Field type详解

  字段类型概述 一级分类 二级分类 具体类型 核心类型 字符串类型 string,text,keyword 整数类型 integer,long,short,byte 浮点类型 double,float,half_float,scaled_float 逻辑类型 boolean 日期类型 dat...

2018-10-15 15:02:18

阅读数 984

评论数 0

ES mapping 详解

1 mapping type 映射(mapping) 映射是定义一个文档以及其所包含的字段如何被存储和索引的方法。 例如,用映射来定义以下内容: 哪些 string 类型的 field 应当被当成当成 full-text 字段 哪些字段应该是数值类型、日期类型或者是地理位置信息 日期类...

2018-10-12 15:41:21

阅读数 466

评论数 0

Elasticsearch Log GC 日志分析详解

如果你关注过 elasticsearch 的日志,可能会看到如下类似的内容: [2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] ...

2018-10-12 10:46:55

阅读数 416

评论数 0

ES Field Collapsing 字段折叠使用详解

在 Elasticsearch 5.x 有一个字段折叠(Field Collapsing,#22337)的功能非常有意思,在这里分享一下,   字段折叠是一个很有历史的需求了,可以看这个 issue,编号#256,最初是2010年7月提的issue,也是讨论最多的帖子之一(240+评论),熬了6年...

2018-10-12 10:30:27

阅读数 74

评论数 0

ES aggregation详解

aggregation分类 aggregations —— 聚合,提供了一种基于查询条件来对数据进行分桶、计算的方法。有点类似于 SQL 中的 group by 再加一些函数方法的操作。 聚合可以嵌套,由此可以组成复杂的操作(Bucketing聚合可以包含sub-aggregation)。 ...

2018-10-12 09:57:14

阅读数 259

评论数 0

ES读写操作详解

目前的Elasticsearch有两个明显的身份,一个是分布式搜索系统,另一个是分布式NoSQL数据库,对于这两种不同的身份,读写语义基本类似,但也有一点差异。 写操作 实时性: 搜索系统的Index一般都是NRT(Near Real Time),近实时的,比如Elasticsea...

2018-10-11 15:00:09

阅读数 335

评论数 0

ES查询流程源码解析

  一些基础知识 早先ES的HTTP协议支持还是依赖Jetty的,现在不管是Rest还是RPC都是直接基于Netty了。 另外值得一提的是,ES 是使用Google的Guice 进行模块管理,所以了解Guice的基本使用方式有助于你了解ES的代码组织。 ES 的启动类是 org.elast...

2018-10-09 20:44:35

阅读数 85

评论数 0

elasticsearch优化总结

 一、 硬件环境选择:  如果有条件,尽可能使用SSD硬盘, 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性。IO的提升,会极大改进ES的速度和性能。 二、系统拓朴设计:  ES集群在架构拓朴时,一般都会采用Hot-Warm的架构模式,即设置3种不同类型的节点:Mast...

2018-10-09 12:59:04

阅读数 194

评论数 0

es Score Query优化查询

  通过Function Score Query   function_score查询是处理分值计算过程的终极工具。它让你能够对所有匹配了主查询的每份文档调用一个函数来调整甚至是完全替换原来的_score。 实际上,你可以通过设置过滤器来将查询得到的结果分成若干个子集,然后对每个子集使用不...

2018-10-08 18:08:19

阅读数 247

评论数 0

elasticsearch系统性能调优总结

elasticsearch性能调优 集群规划   独立的master节点,不存储数据, 数量不少于2 数据节点(Data Node) 查询节点(Query Node),起到负载均衡的作用 集群节点划分 整个集群的节点分为以下三种主要类型 Master nodes -- 负责维护集群状...

2018-10-08 11:00:29

阅读数 184

评论数 0

ES基本查询总结

ES与数据库比较  查询操作 Elasticsearch中当我们设置Mapping(分词器、字段类型)完毕后,就可以按照设定的方式导入数据。 有了数据后,我们就需要对数据进行检索操作。根据实际开发需要,往往我们需要支持包含但不限于以下类型的检索: 1)精确匹配,类似mysql中的 “...

2018-10-08 10:25:21

阅读数 875

评论数 0

Elasticsearch5 安装bigdesk

环境 系统:centos7 elasticsearch:5.2.2 安装步骤 步骤 由于elasticsearch不再建议支持插件的安装方式。建议作为独立的程序来安装类似于bigdesk、head。 以前都是插件方式来安装。现在呢?官网介绍应该Run bigdesk standalone...

2018-09-27 21:10:38

阅读数 58

评论数 0

Elasticsearch常用最全最常用工具清单

1、题记 工欲善其事必先利其器,ELK Stack的学习和实战更是如此,特将工作中用到的“高效”工具分享给大家。 希望能借助“工具”提高开发、运维效率! 2、工具分类概览 2.1 基础类工具 1、Head插件 1)功能概述: ES集群状态查看、索引数据查看、ES DSL实现(增、删、...

2018-09-27 20:08:27

阅读数 167

评论数 0

提示
确定要删除当前文章?
取消 删除