elasticsearch 学习笔记
在奋斗的大道
程序发烧友
展开
-
ElasticSearch 一文读懂
是一个基于Lucene库的搜索引擎。它提供了一个分布式、支持多租户的全文搜索引擎,具有HTTPWeb接口和无模式JSON文档。Elasticsearch是用Java开发的,并在Apache许可证下作为开源软件发布。官方客户端在Java、.NET(C#)、PHP、Python、、Ruby和许多其他语言中都是可用的。[5]根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是,也是基于Lucene。...原创 2022-07-28 17:40:57 · 1521 阅读 · 0 评论 -
Elasticsearch-head 插件删除指定索引数据
eg:语法规则:请求方式 post 请求url 索引名称/_delete_by_query 请求参数体 {"query":{"match_all":{}}}原创 2021-06-23 18:41:14 · 2198 阅读 · 3 评论 -
通过Logstash6.x 导入MySQL8 数据至ES 提示:Error occurred during initialization of VM
今天需要初始化基本索引数据通过Logstash 实现MySQL8 迁移至ES中,但在启动数据迁移指令:logstash.bat -f ../elasticsearch/elasticsearch.conf提示原创 2021-06-21 09:45:34 · 339 阅读 · 0 评论 -
Elasticsearch7 添加密码验证、并且使用postman访问带密码的es
1 使用ES自带的XPACK开启密码校验在es7.0版本以后(之前的版本没怎么用过,不太清楚)安装包默认自带了xpack功能,所以只需要在es包下的config目录修改一下es的默认配置文件elasticsearch.yml即可,在elasticsearch.yml中追加写入以下参数http.cors.enabled: truehttp.cors.allow-origin: "*"http.cors.allow-headers: Authorization# 开启xpack功能,实现密码验原创 2021-02-05 12:14:15 · 1680 阅读 · 0 评论 -
Elasticsearch7 插件开发之索引创建、索引数据初始化
ElasticSearch es 插件开发1. 插件分类 API Extension Plugins API扩展插件 通过添加新的API或功能向Elasticsearch添加新功能,通常与搜索或映射有关。 优秀插件代表:SQL language Plugin: 让 Elasticsearch 支持 SQL语句查询 (by NLPchina) Alerting Plugins 告警插件 监控Elasticsearch索引情况,并在超过某个阈值时触发告警。 优秀插件代表:X-Pack原创 2021-02-05 12:00:54 · 1239 阅读 · 2 评论 -
ElasticSearch7 数据类型之日期类型
日期类型(Date datatype)Elasticsearch7 日期表达成类型:日期格式化的字符串,比如: “2015-01-01” 或者 “2015/01/01 12:10:30”; 毫秒级别的 long 类型 秒级别的 integer 类型MySQL8Timestamp与String 日期格式类型转换 // 2.1 String ->Timestamp // 使用Timestamp的valueOf()方法 @org.junit.Test ..原创 2021-02-02 18:54:33 · 3425 阅读 · 0 评论 -
Elasticsearch7 清空指定Index 相关数据
注意:Elasticsearch7 起,Index索引已经不支持创建指定Type(类型), 默认取值为(_doc).Elasticsearch7 清空指定Index 语法:POST 请求: http://es 服务器地址/索引名称/_delete_by_queryHeaders 参数: Content-Type = application/jsonBody 参数:{ "query": { "match_all": {原创 2021-02-02 17:37:52 · 1432 阅读 · 0 评论 -
谷歌浏览器安装Elasticsearch head 插件
使用步骤翻墙后用谷歌浏览器打开下面的地址,根据提示安装即可。https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm/原创 2021-01-27 18:49:08 · 768 阅读 · 0 评论 -
ElasticSearch V7.10.2: Root mapping definition has unsupported parameters
问题描述:基于elasticsearch7 插件开发规则,编写初始化索引插件(elasticsearch-plug-index),初始化索引mapping 映射{ "settings": { "number_of_shards": 3, "number_of_replicas": 2 }, "mappings": { "properties": { "approvallanduseno": { "type": "text", "fields": {原创 2021-01-27 18:19:37 · 1950 阅读 · 0 评论 -
es 基于postman 删除、新增索引
1、postman 删除es 指定索引Delete请求http://192.168.1.10:9200/ucas_gis #ucas_gis索引名称2、postman 新增es 索引Put 请求http://192.168.1.10:9200/ucas_gis #ucas_gis索引名称3、postman es 指定索引添加mapping 结构定义Put 请求http://192.168.1.10:9200/ucas_gis/gisCertificate/_m.原创 2020-10-29 16:47:56 · 4152 阅读 · 0 评论 -
Elasticsearch 导入导出
第一步:node安装elasticdumpnpm install elasticdump -g // -g 代表全局安装第二部:切换至node 安装elasticdump 指令目录(C:\nodejs\node_global)导出执行导出指定索引结构(index)elasticdump --input=http://127.0.0.1:9200/ucas_gis --output=/data/ucas_gis_mapping.json --type=mapping执.原创 2020-09-23 11:48:21 · 1723 阅读 · 0 评论 -
Elasticsearch 查看指定索引的mapping 结构定义
Postman 模拟工具:请求指令:http://127.0.0.1:9200/ucas_arch/archInfo/_mapping?pretty原创 2020-08-14 08:49:18 · 4699 阅读 · 0 评论 -
ElasticSearch6.x 指定索引库类型映射支持模糊查询和精准查询
索引库支持模糊查询和精准查询配置: "archtitle": { "type": "text", "analyzer":"ik_max_word", "fields": { "keyword": { "type": "keyword" } }原创 2020-07-15 14:48:07 · 737 阅读 · 0 评论 -
ElasticSearch6.x +logstash6.x +MySQL8 MySQL8 数据同步,字母大小写问题
ElasticSearch6.x +logstash6.x同步MySQL8数据的时候,sql里面含有的大写字母,到了ElasticSearch6.x的时候就会变成小写,这是因为在jdbc.conf里面没有添加lowercase_column_names => false这个属性,就导致ElasticSearch6.x里面看到的字段名称全是小写。最后总结:ElasticSearch6.x是支持大写字段名称的,如果想要保留原有的大写字母,需要在同步配置中加上lowercase_column...原创 2020-07-15 11:33:18 · 315 阅读 · 0 评论 -
elasticsearch6.x 使用聚合API,聚合属性字段出现分词情况
针对索引库中类型的映射mapping 采用keyword 关键字,即表示:不分词。实列:创建Boob 索引库:创建Book 索引库中的archInfo类型,及其类型映射:Body 详细参数:{ "archInfo": { "properties": { "sid":{ "type": "text", "store": true},"unitprojsid":{ "type": "text", .原创 2020-07-15 09:39:56 · 523 阅读 · 0 评论 -
Spring4 整合ElasticSearch6.x:availableProcessors is already set to [4], rejecting [4]
Spring4.x 整合ElasticSearch6.x 提示如下错误信息:java.lang.IllegalStateException: availableProcessors is already set to [4], rejecting [4]解决方式就是在项目初始化钱设置一下一个属性。在初始化之前加上System.setProperty(“es.set.netty.runtime.available.processors”, “false”);Spring4.x 集成Elas原创 2020-07-13 16:48:29 · 385 阅读 · 0 评论 -
ElasticSearch6.x 清空索引数据
postmane 工具执行索引数据清空操作:语法格式:请求地址:http://elasticsearch服务器地址:9200/索引库/类型/_delete_by_query?conflicts=proceed请求方式:POST请求头部参数:content-Type:application/json请求参数体:{ "query": { "match_all": {} }}示例:...原创 2020-07-09 11:19:56 · 2710 阅读 · 0 评论 -
Elasticsearch 基于logstash 同步MySQL8 数据
概述 在生成业务常有将MySQL数据同步到ES的需求,如果需要很高的定制化,往往需要开发同步程序用于处理数据。但没有特殊业务需求,官方提供的logstash就很有优势了。 在使用logstash我们应先了解其特性,再决定是否使用:无需开发,仅需安装配置logstash即可; 凡是SQL可以实现的logstash均可以实现(本就是通过sql查询数据) 支持每次全量同步或按照特定字段(如递增ID、修改时间)增量同步; 同步频率可控,最快同步频率每分钟一次(如果对实效性要求较高,慎用); 不原创 2020-07-08 19:10:53 · 535 阅读 · 0 评论 -
启动Elasticsearch服务,提示如下错误信息:maybe these locations are not writable or multiple nodes were started
Elasticsearch 服务启动,提示错误信息:[o.e.b.ElasticsearchUncaughtExceptionHandler] [node-1] uncaught exception in thread [main]org.elasticsearch.bootstrap.StartupException: java.lang.IllegalStateException: failed to obtain node locks, tried [[/path/to/data/my-app原创 2020-07-08 18:59:06 · 5330 阅读 · 0 评论 -
ElasticSearch 绑定IP地址
https://blog.csdn.net/yelllowcong/article/details/78740237原创 2020-07-08 14:26:48 · 4016 阅读 · 0 评论 -
ElasticSearch 提示: NoNodeAvailableException[None of the configured nodes are available:
ElasticSearch6.3.2 之java 客户端连接提示如下错误:NoNodeAvailableException[None of the configured nodes are available:造成此问题的原因是:elasticsearch6.3.2 的配置文件(D:\elasticsearch\elasticsearch-6.3.2\config\elasticsearch.yml),没有打开涉及elasticsearch的集群配置:此为修改后的配置文件:# -------.原创 2020-06-22 23:34:56 · 529 阅读 · 0 评论 -
SpringBoot 2.x 集成ElasticSearch6.x
任务要求:SpringBoot集成ElasticSearch6.x ,并且封装相关功能.核心pom.xml 文件:<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId>...原创 2019-11-24 14:37:39 · 1720 阅读 · 0 评论 -
ElasticSearch6.x 核心概念总结
ElasticSearch6.x 与MySQL8 核心概念对比:ElasticSearch6.x MySQL8.x 索引(index) 数据库(database) 类型(type) 表(table) 文档(document) 行(row) 字段(field) 列(column) 映射(mapping) 表结构(schema) 全文索引...原创 2019-07-23 14:32:36 · 228 阅读 · 0 评论 -
ElasticSearch6.x 之索引
1、创建索引 创建索引语法规则:http://elasticsearch 服务器访问地址/索引名称,Put请求, 无参数 实列:http://192.168.1.74:9200/security/,在elasticsearch 服务器上创建名为security 的索引。 截图:注意:(1)、索引不能包含大写字母。 (2)、索引不能重复创...原创 2019-07-23 15:23:09 · 1967 阅读 · 0 评论 -
ElasticSearch6.x 基于SpringBoot 实现ElasticSearch的文档管理
前景提要: ElasticSearch6.x 搜索引擎服务支持四种方式导入文档对象: 1、byte[]:字节数组(JSON格式文档手动转换为 byte[]或String) 2、Map:键值对(使用Map,代表一个JSON文档) 3、实体对象:JavaBean(使用Jackson 等第三方库把JavaBean转换为JSON)...原创 2019-07-26 09:05:01 · 370 阅读 · 0 评论 -
ElasticSearch6.x 之 文档
1、创建文档(指定文档ID)创建文档语法规则:http://elasticsearch 服务器访问地址/索引名称/文档名称/文档主键编号,Put请求, 携带文档属性参数。实列:http://192.168.1.74:9200/shopping/user/1/,选择在elasticsearch 服务器中的shopping 索引创建文档(user)并指定文档(user)的主键1,携带文档参数如...原创 2019-07-23 16:37:59 · 1893 阅读 · 0 评论 -
ElasticSearch6.x 基于SpringBoot 实现ElasticSearch之分组统计查询
AggregationUtil.java中添加如下方法, /** * 分组统计 * @param index 索引 * @param field 文档属性 * @return */ public Terms terms(String index,String field){ String name = "ter...原创 2019-07-26 16:31:40 · 5286 阅读 · 0 评论 -
ElasticSearch6.x 基于SpringBoot 实现ElasticSearch的统计查询
AggregationUtil.java 实现elasticsearch 搜索引擎针对指定索引的max(最大值)、 min(最小值)、sum(合计统计)、avg(平均值统计)、 stats(基本统计)、extendedStats(高级统计)、cardinality(基数统计)、percentiles(百分比统计)、valueCount(文档数量统计)等相关统计功能。package com.z...原创 2019-07-26 15:58:13 · 4291 阅读 · 0 评论 -
ElasticSearch6.x 之JSON 数据导入(Windows平台)
第一步:注意事项使用json文件可以给es中导入数据,10万条左右的数据可以一次导入,数量太大时导入就会报错。大数量的到导入还是需要用bulk方式。第二步:创建website 索引,并且指定映射关系编辑内容:{ "settings": { "number_of_replicas": 1, "number_of_shards": 5 }, "mapp...原创 2019-07-25 09:33:33 · 1581 阅读 · 1 评论 -
ElasticSearch6.x 之映射参数
本文转载至https://blog.csdn.net/chengyuqiang/article/details/79059958映射参数概述: ElasticSearch提供了丰富的映射参数。 官网地址:https://www.elastic.co/guide/en/elasticsearch/reference/6.3/mapping-params.html...转载 2019-07-24 17:47:34 · 593 阅读 · 0 评论 -
ElasticSearch6.x 之IK 分词
IK分词器介绍elasticsearch-analysis-ik git地址:https://github.com/medcl/elasticsearch-analysis-ik分词方式Analyzer: ik_smart , ik_max_wordTokenizer: ik_smart , ik_max_wordes安装ik插件有2种方式: plugin自动安装方式和手动解压方式...原创 2019-07-24 11:39:43 · 1960 阅读 · 0 评论 -
ElasticSearch6.x 之字段类型
本文转载至:https://blog.csdn.net/chengyuqiang/article/details/79048800字段类型概述字符串类型(1)stringstring类型在ElasticSearch 旧版本中使用较多,从ElasticSearch 5.x开始不再支持string,由text和keyword类型替代。(2)text当一个字段是要被全文搜索的,比...原创 2019-07-24 09:48:18 · 1735 阅读 · 0 评论 -
ElasticSearch6.x 之映射
映射(Mapping)概述: ElasticSearch中的映射(Mapping)用来定义一个文档,可以定义所包含的字段以及字段的类型、分词器及属性等等。映射(Mapping)种类: 动态映射 :ElasticSearch中事先不定义映射(Mapping),文档写入ElasticSearch时,会根据文档字段自动识别类型,这种机制...原创 2019-07-23 18:29:53 · 767 阅读 · 0 评论 -
ElasticSearch6.x 之路由规则
1、创建文档指定路由语法规则:http://elasticsearch 服务器访问地址/索引名称/文档名称/文档主键编号?routing=路由名称,Put请求, 携带文档属性参数。实列:http://192.168.1.74:9200/shopping/user/3?routing=route/,选择在elasticsearch 服务器中的shopping 索引创建文档(user)并指定文...原创 2019-07-23 17:45:43 · 825 阅读 · 0 评论 -
Springboot整合Elasticsearch 提示:NoNodeAvailableException[None of the configured nodes are available
Window 搭建完Elasticseach 环境,使用localhost 本机都能够正常访问Elasticsearch 环境,使用Springboot +集成elasticsearch 提示如下错误信息:NoNodeAvailableException[None of the configured nodes are available大意是:配置文件中没有可以使用的节点。springb...原创 2019-03-01 10:02:09 · 14860 阅读 · 1 评论 -
Springboot整合Elasticsearch报错availableProcessors is already set to [4], rejecting [4]
本文转自至:https://blog.csdn.net/longzhanpeng/article/details/81287645Springboot整合Elasticsearch报错今天使用SpringBoot整合Elasticsearch时候,相关的配置完成后,启动项目就报错了。nested exception is java.lang.IllegalStateException: ...转载 2019-02-28 19:05:23 · 1808 阅读 · 1 评论 -
Windows7 安装ElasticSearch-6.x
第一步:本机如何安装Java8 环境,请自行baidu.第二步:安装ElasticSearch1、从官网下载ElasticSearch,https://www.elastic.co/downloads/elasticsearch,下载Zip包。我下载的最新版本为:elasticsearch-6.3.22、解压到指定目录文件夹中,我这里指定的目录文件夹目录:D:\elasticsea...原创 2018-07-31 02:38:49 · 2463 阅读 · 1 评论 -
elasticsearch 创建搜索初步
我们在上一篇文章中,已经讲解:elasticsearch 简介和创建索引初步中,我们已经讲解如何在elasticSearch 中创建索引,我们结合上一篇文章,来简单讲解ElasticSearch 是如何搜索数据的。elasticsearch 搜索:本项目环境:eclipse + JDK 7 + elasticsearch1.7.0项目截图: 源代码:原创 2016-01-04 10:35:12 · 828 阅读 · 0 评论 -
elasticsearch 简介和创建索引初步
简介:ElasticSearch是一个开源的分布式搜索引擎,具备高可靠性,支持非常多的企业级搜索用例。像Solr4一样,是基于Lucene构建的。支持时间时间索引和全文检索。官网:http://www.elasticsearch.org它对外提供一系列基于java和http的api,用于索引、检索、修改大多数配置。下载地址 http://www.elasticsearch.org/downlo原创 2016-01-04 10:18:58 · 3570 阅读 · 1 评论 -
ElasticSearch6.x 之基础查询
本文基于:ElasticSearch6.x 之JSON 数据导入(Windows平台),完成相关索引创建和数据初始化导入。基础查询之:term 查询POST http://192.168.1.74:9200/website/blog/_search/{ "query": { "term": { "title": "字段" } }}基础...原创 2019-07-25 10:15:25 · 719 阅读 · 0 评论