![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Elasticsearch
zkf541076398
认真对待数据,分析可用数据
展开
-
44.esrally性能测试原理
1. 前提esrally的运行不会影响当前系统elasticsearch的一切正常业务。2. 性能测试原理大致步骤概括如下:第一步:安装esrally,耗时会半小时到1个小时之间。主要完成esrally必要组件安装,更多的是elasticsearch的安装。elasticsearch安装的两种方式:方式一:最常用的安装方法,源码安装。只需要运行esrally,等价于运行:esrally race ...转载 2018-05-02 17:14:38 · 599 阅读 · 0 评论 -
43.Elasticsearch自定义脚本完成性能测试
1、ES性能测试要求: 1)完成ES并发100次性能测试; 2)统计得出访问时间结果值。2、脚本实现#!/bin/shKEYWORDS_TXT="./keywords.txt"cat /dev/null > ./rst.txtecho "beginTime=`date`"cat $KEYWORDS_TXT | while read linedoecho "line=$lin...转载 2018-05-02 17:15:03 · 316 阅读 · 0 评论 -
43.Elasticsearch索引迁移的四种方式
本文主要讲解Elasticsearch下实现索引迁移的几种方式。0、引言将ES中的索引拷贝到其他ES中,或者将ES整体迁移,研究发现有两个开源的工具:elaticserch-dump和 Elasticsearch-Exporter。 除此之外,logstash在索引同步、迁移方面的作用也很大。 两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下:1、elasticsearch-...转载 2018-05-07 09:29:24 · 1435 阅读 · 3 评论 -
42.Elasticsearch Java API深入详解
0、题记之前Elasticsearch的应用比较多,但大多集中在关系型、非关系型数据库与Elasticsearch之间的同步。以上内容完成了Elasticsearch所需要的基础数据量的供给。但想要在海量的数据中找到和自己相关的业务数据,实现对已有的数据实现全文检索、分类统计等功能并应用到业务系统中,必须借助Java API来实现。1、Elasticsearch Java API 概览Elasti...转载 2018-05-07 09:28:22 · 205 阅读 · 0 评论 -
41.Elasticsearch Jest实战深入详解
以Jest为例,假设我们之前没有用过Jest,对Jest的认知,需要经历的过程: 步骤1:Jest是什么?能解决什么问题? 步骤2:Jest的优势是什么?为什么会出现? 步骤3:Jest如何安装与使用? 步骤4:Jest的样例Demo&实战。本文,就带你从认知的角度,一步步学会使用Jest。1、Jest介绍Jest是Elasticsearch 的Java Http Rest 客户端。Ela...转载 2018-05-07 09:28:10 · 870 阅读 · 0 评论 -
40.Elasticsearch聚合优化 | 聚合速度提升5倍(lasitcsearch聚合进阶)
1、聚合为什么慢?大多数时候对单个字段的聚合查询还是非常快的, 但是当需要同时聚合多个字段时,就可能会产生大量的分组,最终结果就是占用 es 大量内存,从而导致 OOM 的情况发生。 实践应用发现,以下情况都会比较慢: 1)待聚合文档数比较多(千万、亿、十亿甚至更多); 2)聚合条件比较复杂(多重条件聚合); 3)全量聚合(翻页的场景用)。2、聚合优化方案探讨优化方案一:默认深度优先聚合改为广度优...转载 2018-05-02 17:18:57 · 673 阅读 · 0 评论 -
38.Elasticsearch聚合后分页深入详解(lasitcsearch聚合进阶)
1、Elasticsearch支持聚合后分页吗,为什么?不支持,看看Elasticsearch员工如何解读。 这个问题,2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页?可概括如下: 1)性能角度——聚合分页会在大量的记录中产生性能问题。 2)正确性角度——聚合的文档计数不准确。 所以奇怪的事情可能会发生,如第二页的第一项具有比第一页的最后一个元素更高的计数。具体为什么会...转载 2018-05-02 17:18:32 · 380 阅读 · 0 评论 -
37.Elasticsearch聚合深入详解——对比Mysql实现(lasitcsearch聚合进阶)
聚合认知前提桶(Buckets)——满足特定条件的文档的集合 指标(Metrics)——对桶内的文档进行统计计算SELECT COUNT(color) FROM table GROUP BY colorCOUNT(color) 相当于指标。 GROUP BY color 相当于桶。一、聚合起步1、创建索引1.1 创建索引DSL实现put carsPOST /cars/transactions/_...转载 2018-05-02 17:18:06 · 155 阅读 · 0 评论 -
36.Elasticsearch实战 | match_phrase搜不出来,怎么办(Elasticsearch检索进阶)
1、问题抛出某个词组在Elasitcsearch中的某个document中存在,就一定通过某种匹配方式把它搜出来。 举例:title=公路局正在治理解放大道路面积水问题。输入关键词:道路,能否搜索到这个document呢? 实际应用中可能需要: 1)检索关键词”理解”、”解放”、”道路”、“理解放大”,都能搜出这篇文档。 2)单个的字拆分“治”、“水”太多干扰,不要被检索出来。 3)待检索的词不在...转载 2018-05-02 17:15:55 · 458 阅读 · 0 评论 -
35.必须知道的23个最有用的Elasticseaerch检索技巧(Elasticsearch检索进阶)
题记本文详细论述了Elasticsearch全文检索、指定字段检索实战技巧,并提供了详尽的源码举例。是不可多得学习&实战资料。0、前言为了讲解不同类型ES检索,我们将要对包含以下类型的文档集合进行检索: 1. title 标题; 2. authors 作者; 3. summary 摘要; 4. release data 发布日期; 5. number of reviews...转载 2018-05-02 17:14:14 · 188 阅读 · 0 评论 -
34.一张图理清楚关系型/非关系型数据库与Elasticsearch同步(ES同步小结)
题记ES除了做TB级日志分析外,越来越多的被企业用来用作数据存储。但是,传统企业里面,数据存在关系型数据库Mysql,oracle中,或者存储在非关系型数据库Mongo中。如何处理业务数据的时候,将Mysql/oracle/mongo中的数据同步到ES中,然后对已有的数据进行全文检索?这些,就是本篇要思考和解决的问题。1、关系型&非关系型数据库与ES如何同步?少废话,直接上实践过的结果。 ...转载 2018-05-02 17:11:19 · 669 阅读 · 0 评论 -
33.如何将不同类型数据导入Elaticsearch中(ES同步小结)
题记Elaticsearch的原理明白了以后,手头有很多不同类型的数据,如: 1)单条数据,如程序中自己构造的JSON格式数据; 2)符合Elasticsearch索引规范的批量数据; 3)日志文件,格式*.log; 4)结构化数据,存储在mysql、oracle等关系型数据库中; 5)非结构化数据,存储在mongo中; 如何将这些数据导入到Elasticsearch中呢?接下来,本文将逐个介绍。...转载 2018-05-02 17:11:04 · 937 阅读 · 0 评论 -
32.logstash实现日志文件同步到elasticsearch(ES文件同步)
引言:之前博文介绍过了mysql/oracle与ES之间的同步机制。而logstash最初始的日志同步功能还没有介绍。本文就logstash同步日志到ES做下详细解读。1、目的:将本地磁盘存储的日志文件同步(全量同步、实时增量同步)到ES中。 2、源文件:[root@5b9dbaaa148a test_log]# ll-rwxrwxrwx 1 root root 170 Jul 5 08:02 ...转载 2018-05-02 17:10:11 · 2999 阅读 · 0 评论 -
45.esrally性能分析结果图形化展示
0、前提安装elasticsearch的最新版本,目前是2.3.4版本。 elsticsearch新增扮演的角色是:rally分析结果会存储到elasticsearch。1、运行esrally 高级配置模式高级配置模式和普通模式的区别:普通模式只需要配置jdk的环境变量路径。 而高级模式,需要配置:当前本机已安装elasticsearch的监听端口以及ES配置的主机名称。高级配置模式详情:[ela...转载 2018-06-09 14:54:47 · 883 阅读 · 0 评论 -
45.elasticsearch性能测试工具rally
题记elasticsearch性能测试研究了很久,自己想过通过批量导入数据,然后记录时间,统计CPU、内存等变化,计算得出某个性能指标。但显然,数据量起伏不定,非常不准确。 研究发现,github上提供了rally作为elasticsearch的性能测试工具,较好的解决了es性能测试问题。1、esrally功能:es的性能测试工具。esrally不支持windows版本,目前只支持Linux和Ma...转载 2018-06-09 14:55:42 · 767 阅读 · 0 评论 -
53.刨根问底 | Elasticsearch 5.X集群多节点角色配置(Elasticsearch项目实战)
1、问题引出ES5.X节点类型多了ingest节点类型。 针对3个节点、5个节点或更多节点的集群,如何配置节点角色才能使得系统性能最优呢? 2、ES2.X及之前版本节点角色概述3、ES5.X节点角色清单 由于其他几种类型节点和用途都很好理解,无非主节点、数据节点、路由节点。Ingest的用途: 1)Ingest节点和集群中的其他节点一样,但是它能够创建多个处理器管道,用以修改传入文档。类似 最常用...转载 2018-06-09 14:58:01 · 363 阅读 · 0 评论 -
52.Elasticsearch大文件检索性能提升20倍实践(Elasticsearch项目实战)
少废话,直接开始。1、大文件是多大?ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。项目中,有时候需要将一些扫描件、PDF文档、Word、Excel、PPT等文档内容导入Elasticsearch。比如:将《深入理解Elasticsearch》这边书导入ES,而这边书的全文内容被识别后的大小可能为3MB——5MB以上的字节。存入ES后是一个content字段,对这个co...转载 2018-06-09 14:57:47 · 1569 阅读 · 0 评论 -
51.Elasticsearch全文检索系统实现深入详解(Elasticsearch项目实战)
题记学习ES的童鞋,都有一个开发一个类似百度的搜索引擎的想法。当然功能不一定是百度、360、谷歌传统的搜索引擎那么强大。但是,能实现基本的全文检索、指定类型的检索、评分高低优先级排序等等。那么问题来了,该如何实现?需要什么技术呢?1、Elasticsearch全文检索系统效果图注:这张图是从网上down的,我已经实现了上述功能。 (不能截图,原因:你懂的!)2、Elasticsearch全文检索...转载 2018-06-09 14:57:10 · 1523 阅读 · 0 评论 -
50.干货 |《深入理解Elasticsearch》读书笔记
题记由于之前已经梳理过Elasticsearch基础概念且在项目中实战过Elasticsearch的增删改查、聚类、排序等相关操作,对ES算是有了一定的认知。但是,仍然对于一些底层的原理认知模糊,特买来《深入理解Elasticsearch》过了一遍,将书中一些细节知识点结合官网文档梳理如下。1——4章偏应用,跟着敲一遍代码基本就能理解原理。 5——9章偏理论一些。 第5章 分布式索引架构1、如何选...转载 2018-06-09 14:57:02 · 244 阅读 · 0 评论 -
49.Elasticsearch实战——全文检索架构设计
1、题记近几年,Elasticsearch(以下简称ES)作为开源的搜索引擎已经在国内得到越来越多的应用推广,在日志分析领域应用场景尤为广泛。传统的数据库Mysql、Oracle或者非关系型数据库Mongo作为基础存储的企业要想实现业务数据的全文检索,该如何实现呢?本文给出架构设计和实现原理。2、理清楚使用ES的初衷2.1 大数据背景下数据量的积累与数据应用疲软矛盾一直存在。大数据的风已经刮了几年...转载 2018-06-09 14:56:53 · 378 阅读 · 0 评论 -
48.lasticsearch全文检索实战小结——复盘我带的第二个项目(Elasticsearch实战篇)
一、项目概述这是一个被我称之为“没有枪、没有炮,硬着头皮自己造”的项目。项目是和其它公司合作的三个核心模块开发。 使用ES的目的是: 1)、采集数据、网站数据清洗后存入ES; 2)、对外提供精确检索、通配符检索、模糊检索、分词检索、全文检索接口等二次封装接口。二、项目架构 如上图所示,ES作为中间层,一方面存储数据清洗后存储的数据,另一方面对外提供插入、更新、删除、检索接口的。三、ES使用小结3....转载 2018-06-09 14:56:43 · 1646 阅读 · 0 评论 -
47.Elasticsearch的使用场景深入详解(Elasticsearch实战篇)
了解了ES的使用场景,ES的研究、使用、推广才更有价值和意义。1、场景—:使用Elasticsearch作为主要的后端传统项目中,搜索引擎是部署在成熟的数据存储的顶部,以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的存储或其他经常需要的功能,如统计。 Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎。 如果你开始一个新项目,我们建议您考虑使用Elasti...转载 2018-06-09 14:56:14 · 883 阅读 · 0 评论 -
46.Elasticsearch6.2.2 X-Pack部署及使用详解
X-Pack已经开源,预计Elasticsearch6.3版本会全面集成,不再收费。 赶紧体验一下强大的X-pack吧!1、 X-Pack 概览X-Pack 简介 1)利用 X-Pack 拓展可能性。 X-Pack 是集成了多种便捷功能的单个插件 — security、alerting、monitoring、reporting、graph 探索和 machine learning — 您可以在 E...转载 2018-06-09 14:56:07 · 1611 阅读 · 0 评论 -
31.Elasticsearch批量导入本地Json文件Java实现(ES文件同步)
题记产品开发需要,我们需要将互联网采集的数据存储到ES中,以实现数据的全文检索。互联网采集的数据,往往格式杂乱,需要先进行数据清洗操作。而ES支持的入库格式,json格式数据会相对方便些。本文主要介绍,如何将格式化的Json文件批量插入到ES中。1、需提前做的工作1)设计好索引以及Mapping;Mapping的目的主要是——设定字段名称、字段类型,哪些字段需要进行全文检索等。12)Java程序中...转载 2018-04-30 14:08:10 · 3603 阅读 · 0 评论 -
30.kafka数据同步Elasticsearch深入详解(ES与Kafka同步)
1、kafka同步到Elasticsearch方式?目前已知常用的方式有四种: 1)logstash_input_kafka插件; 缺点:不稳定(ES中文社区讨论) 2)spark stream同步; 缺点:太庞大 3)kafka connector同步; 4)自写程序读取、解析、写入 本文主要基于kafka connector实现kafka到Elasticsearch全量、增量同步。2、从co...转载 2018-04-30 14:07:53 · 16963 阅读 · 0 评论 -
14.Elasticsearch检索分类深入详解--基础篇
题记Elasticsearch中当我们设置Mapping(分词器、字段类型)完毕后,就可以按照设定的方式导入数据。有了数据后,我们就需要对数据进行检索操作。根据实际开发需要,往往我们需要支持包含但不限于以下类型的检索: 1)精确匹配,类似mysql中的 “=”操作; 2)模糊匹配,类似mysql中的”like %关键词% “查询操作; 3)前缀匹配; 4)通配符匹配; 5)正则表达式匹配; 6)跨...转载 2018-04-22 21:53:48 · 189 阅读 · 0 评论 -
13.ES技术团队划重点 | ES5.X,你必须知道的API和相关技巧
题记Elasticsearch5.X相关核心知识点必知必会(如下)。0. ES相关推荐首先,不要再使用curl,请安装sense(kibana5.x中默认包含sense) 1)ES官方向导 https://www.elastic.co/guide/en/elasticsearch/guide/master/index.html2)ES官方文档(API相关) https://www.elastic....转载 2018-04-22 21:53:12 · 202 阅读 · 0 评论 -
12.Elasticsearch5.4.0 IK分词插件安装
铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/514728211、ES5.4.0 IK分词安装步骤步骤1:下载最新版的ik插件地址:https://github.com/medcl/elasticsearch-analysis-ik步骤2:解压elasticsearch-...转载 2018-04-22 21:52:51 · 124 阅读 · 0 评论 -
11.elasticsearch插件六分词 IK analyzer插件安装详解
铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/51472821一、 IK Analyzer 介绍IK Analyzer是一个开源的,基于Java语言开发的轻量级的中文分词工具包,最初的时候,它是以开源项目Lucene为应用主体的,结合词典分词和文法分析算法的中文分词组件,...转载 2018-04-18 21:23:51 · 156 阅读 · 0 评论 -
10.elasticsearch插件五graph插件安装详解
铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/51472821一、graph插件介绍graph插件一个新的用于 Elasticsearch 和 Kibana 的插件,通过它们您可以很方便的发现、理解和探索现有数据之间的关系。和 Elastic 的所有产品一样,它的 UI ...转载 2018-04-17 11:50:48 · 170 阅读 · 0 评论 -
9.elasticsearch插件四 logstash插件安装详解
铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/51472821一、logstash插件介绍logstash是一个用来管理事件和日志的工具,它的作用是收集日志,解析日志,存储日志为以后使用。二、logstash插件安装步骤1:下载和安装公共签名key。rpm –import...转载 2018-04-17 11:50:07 · 176 阅读 · 0 评论 -
8.elasticsearch插件三 Marvel插件安装详解
铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/51472821一、Marvel插件介绍Marvel插件:在簇中从每个节点汇集数据。这个插件必须每个节点都得安装。 Marvel是Elasticsearch的管理和监控工具,在开发环境下免费使用。它包含了一个叫做Sense的交...转载 2018-04-17 11:49:30 · 632 阅读 · 0 评论 -
7.elasticsearch插件二kibana插件安装详解
铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/51472821一、kibana 插件介绍kibana 插件提供了Marvel监控的UI界面。 kibana是一个与elasticsearch一起工作的开源的分析和可视化的平台。使用kibana可以查询、查看并与存储在elas...转载 2018-04-17 11:48:30 · 451 阅读 · 0 评论 -
6.elasticsearch插件一head插件安装详解
铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/51472821一、elasticsearch-head插件介绍elasticsearch-head是一个用来浏览、与Elastic Search簇进行交互的web前端展示插件。 elasticsearch-head是一个用来...转载 2018-04-17 11:47:12 · 943 阅读 · 0 评论 -
5.Elasticsearch5.4.0(head/kibana/logstash)安装部署详解
铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/733687401、ES5.4.0安装包下载地址https://www.elastic.co/downloads/past-releases/elasticsearch-5-4-02、Centos6.7 Elasticsear...转载 2018-04-17 11:43:30 · 197 阅读 · 0 评论 -
4.Elasticsearch集群部署详解
原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/728508341、题记之前应用都是Elasticsearch单节点,随着业务的拓展、数据量的增多,部署分布式Elasticsearch刻不容缓。本文以Elaticsearch2.3.4版本为基础,讲解Elasticsearch三个节点...转载 2018-04-17 11:42:38 · 265 阅读 · 0 评论 -
3.elasticsearch 索引存储深入详解
1、关于ES index存储在内存的问题?(1)早期ES1.X版本对ES索引存储介绍:原文地址: https://www.elastic.co/guide/en/elasticsearch/reference/1.4/index-modules-store.html ES1.X存储模块可以控制索引数据的存储方式,索引可以存储在内存和磁盘上。使用内存方式可以得到更好的性能,但受限于实际的可用的物理内...转载 2018-04-17 11:39:20 · 306 阅读 · 0 评论 -
2.Elasticsearch增、删、改、查操作
铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/51931981引言:对于刚接触ES的童鞋,经常搞不明白ES的各个概念的含义。尤其对“索引”二字更是与关系型数据库混淆的不行。本文通过对比关系型数据库,将ES中常见的增、删、改、查操作进行图文呈现。能加深你对ES的理解。同时,...转载 2018-04-17 11:37:00 · 189 阅读 · 0 评论 -
15.上线必备 | 高性能ES5.X部署配置清单
题记网上当前(截止20170914)流传的各种配置文件普通存在以下问题: 1)版本低,不能和当前版本5.X匹配。 2)5.X的配置本身较1.X,2.X就有很大不同,原有配置已不适用。 3)ES英文、中文文档也没有及时更新。现在,确保ES5.X的高性能到底需要哪些配置越发令人神往。以下清单内容参考了ES官网文档,且都是在ES5.4.0的环境中验证过的,请放心使用。1、配置之前了解ES的集群拓扑结构您...转载 2018-04-22 21:54:10 · 450 阅读 · 0 评论 -
16.Elasticsearch究竟要设置多少分片数
0、引言本文翻译自Elasticsearch20170918热乎的官方博客,原作者:Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理,可能在项目的中后期就会出现性能问题。Elasticsearch是一个非常通用的平台,支持各种各样的用例,并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难...转载 2018-04-22 21:54:36 · 538 阅读 · 0 评论