什么是Elasticsearch

最新推荐文章于 2024-02-24 02:01:29 发布
最新推荐文章于 2024-02-24 02:01:29 发布
阅读量74 收藏
点赞数
文章标签： elasticsearch 搜索引擎 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuerla/article/details/126742890
版权

Elasticsearch 概述

Elasticsearch下载

官方下载链接

https://www.elastic.co/cn/downloads/past-releases#elasticsearch

什么是Elasticsearch

elastic:富有弹性的

search:搜索

我们可以把它简称为ES,但是搜索它的资料时(例如百度)还是使用Elasticsearch进行搜索更准确

这个软件不再是SpringCloud提供的,它也不针对微服务环境的项目来开发

Elasticsearch和redis\mysql一样,不仅服务与java语言,其它语言也可以使用

它的功能也类似一个数据库,能高效的从大量数据中搜索匹配指定关键字的内容

它也将数据保存在硬盘中

这样的软件有一个名称全文搜索引擎

它本质就是一个java项目,使用它进行数据的增删改查就是访问这个项目的控制器方法(url路径)

ES的底层技术

ES使用了java的一套名为Lucene的API

这个API提供了全文搜索引擎核心操作的接口,相当于搜索引擎的核心支持,ES是在Lucene的基础上进行了完善,实现了开箱即用的搜索引擎软件

市面上和ES功能类似的软件有

Solr/MongoDB

为什么需要Elasticsearch

数据库进行模糊查询严重低下

所有关系型数据库都有这个缺点(mysql\mariaDB\oracle\DB2等)

在执行类似下面模糊查询时

select * from spu where spu_name like '%鼠标%'

测试证明一张千万级别的数据表进行模糊查询需要20秒以上

当前互联网项目要求"三高"的需求下,这样的效率肯定不能接受

Elasticsearch主要是为了解决数据库模糊查询性能低下问题的

ES进行优化之后,从同样数据量的ES中查询相同条件数据,效率能够提高100倍以上

数据库中的索引(基本概念)

所谓的索引(index)其实就是数据目录

通常情况下,索引是为了提高查询效率的

数据库索引分两大类

  • 聚集索引
  • 非聚集索引

聚集索引就是数据库保存数据的物理顺序依据,默认情况下就是主键id,所以按id查询数据库中的数据效率非常高

非聚集索引

如果想在非主键列上添加索引,就是非聚集索引了

例如我们在数据库表中存在一个姓名列,我们为姓名列创建索引

在创建索引时,会根据姓名内容来创建索引

例如"张三" 这个姓名,创建索引后查询效率就会明显提升

如果没有索引,这样的查询就会引起效率最低的"逐行搜索",就是一行一行的查这个数据的姓名是不是张三,效率就会非常低

模糊查询时因为’%鼠标%',使用的是前模糊条件,使用索引必须明确前面的内容是什么,前模糊查询是不能使用索引的,只能是全表的逐行搜索,所以效率非常低

所以当我们项目中设计了根据用户输入关键字进行查询时,需要使用全文搜索引擎来优化

索引面试题

1.创建的索引会占用硬盘空间

2.创建索引之后,对该表进行增删改操作时,会引起索引的更新,所以效率会降低

3.对数据库进行批量新增时,先删除索引,增加完毕之后再创建

4.不要对数据样本少的列添加索引

5.模糊查询时,查询条件前模糊的情况,是无法启用索引的

6.每次从数据表中查询的数据的比例越高,索引的效果越低

7.当我们执行查询时,where条件后应该先查询有索引的列

Elasticsearch运行原理

要想使用ES提高模糊查询效率

首先要将数据库中的数据复制到ES中

在新增数据到ES的过程中,ES可以对指定的列进行分词索引保存在索引库中

形成倒排索引结构

在这里插入图片描述

Elasticsearch的启动

课程中使用7.6.2的版本

压缩包280M左右,复制到没有中文,没有空格的目录下解压

双击bin\elasticsearch.bat运行

在这里插入图片描述

elasticsearch.bat

双击之后可能会看到下面的dos界面

在这里插入图片描述

这个界面不能关闭,一旦关闭ES就停止了

验证ES的运行状态

浏览器输入地址:localhost:9200看到如下内容即可

在这里插入图片描述

mac系统启动

tar -xvf elasticsearch-7.6.2-darwin-x86_64.tar.gz 
cd elasticsearch-7.6.2/bin 
./elasticsearch

linux:

tar -xvf elasticsearch-7.6.2-linux-x86_64.tar.gz
cd elasticsearch-7.6.2/bin
./elasticsearch

ES基本使用

ES启动完成后,我们要学习如何操作它

我们已经讲过,操作ES是对ES发送请求

我们创建一个子项目search,在这个子项目中创建一个专门发送各种类型请求的文件来操作ES

创建search项目也要父子相认

然后子项目pom文件如下

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>cn.tedu</groupId>
        <artifactId>csmall</artifactId>
        <version>0.0.1-SNAPSHOT</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>cn.tedu</groupId>
    <artifactId>search</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>search</name>
    <description>Demo project for Spring Boot</description>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
    </dependencies>

</project>

删除test文件夹

下面创建一个能够向ES发送请求的文件

这种能够向指定url发送请求的文件格式称之为http client(http 客户端)

在这里插入图片描述

文件类型叫HTTP Request文件

我们可以起名为elasticsearch

我们先从最简单的请求开始

向es发送指令

### 三个#是注释,也是分隔符,这个文件中每个请求代码之间都要用###分隔
GET http://localhost:9200

### 测试ES的分词功能,运行分词,查看分词效果
POST http://localhost:9200/_analyze
Content-Type: application/json

{
  "text": "罗技激光鼠标",
  "analyzer": "standard"
}

analyze:分析

analyzer:分析者(分词器)

standard是ES默认的分词器,“analyzer”: "standard"是可以省略的

standard这个分词器只能对英文等西文字符(有空格的),进行正确分词

但是中文分词不能按空格分,按这个分词器分词,每个字都会形成分词,这样的结果不能满足我们日常的搜索需要

在这里插入图片描述

我们解决中文不能正确分词的问题

实际上要引入一个中文常见词语的词库,分词时按照词库中的词语分词即可

我们可以使用免费的中文分词器词库插件IK来实现中文分词效果

在这里插入图片描述

安装插件之后要重启ES才能生效

关闭Es窗口之后再双击运行即可

ES启动之后,将中文分词器插件设置完成,在运行分词

{
  "text": "罗技激光无线游戏鼠标",
  "analyzer": "ik_smart"
}

再次运行分词测试,应该看到正常的中文分词效果

ik分词插件的使用

我们安装的ik实际上不只一个分词器

实际上除了ik_smart之外还有ik_max_word

POST http://localhost:9200/_analyze
Content-Type: application/json

{
  "text": "北京成功举行了冬季奥林匹克运动会",
  "analyzer": "ik_smart"
}

POST http://localhost:9200/_analyze
Content-Type: application/json

{
  "text": "北京成功举行了冬季奥林匹克运动会",
  "analyzer": "ik_max_word"
}

上面的两个分词器运行分词,结果会有非常明显的区别

总结区别如下

ik_smart

  • 优点:特征是粗略快速的将文字进行分词,占用空间小,查询速度快

  • 缺点:分词的颗粒度大,可能跳过一些重要分词,导致查询结果不全面,查全率低

ik_max_word

  • 优点:特征是详细的文字片段进行分词,查询时查全率高,不容易遗漏数据
  • 缺点:因为分词太过详细,导致有一些无用分词,占用空间较大,查询速度慢

使用ES操作数据

ES是一个数据库性质的软件

可以执行增删改查操作,只是他操作数据不使用sql,数据的结构和关系型数据库也不同

我们先了解一下ES保存数据的结构

在这里插入图片描述

  • ES启动后,ES服务可以创建多个index(索引),index可以理解为数据库中表的概念

  • 一个index可以创建多个保存数据的document(文档),一个document理解为数据库中的一行数据

  • 一个document中可以保存多个属性和属性值,对应数据库中的字段(列)和字段值

以上就是小编给大家总结的Elasticsearch知识！记得巩固哦！

小罗编程啦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
什么是ES(Elasticsearch)?详解+操作
weixin_43792176的博客
03-22 4362
搜索引擎
ES查询客户端，elasticsearch可视化工具
最新发布
06-24
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...
elasticsearch或kafka的数据抽取工具：logstash-5.6.1
12-02
elasticsearch或kafka的数据抽取工具：logstash-5.6.1，版本5.6.1，可实现全量或增量的数据抽取，有需要可自行下载~
Elasticsearch概述
ClearDream__的博客
06-27 930
elastic:富有弹性的search:搜索在计算机开发界简称ES这个软件不是SpringCloud的组件,甚至其他语言都可以使用它是一个java开发的软件,所以启动需要java环境变量功能是从大量数据中根据指定的关键字搜索出匹配的结果这样的软件有一个名称全文搜索引擎使用它的方式是访问它提供的控制器方法,它开发了多种控制器方法访问不同方法实现对数据的增删改查ES也是将数据保存在硬盘上的java有一套名为Lucene的API是搜索引擎的核心支持,Elasticsearch在Lucene的基础上开发出了一个功能
使用Controller在elasticsearch中提取数据（简单查询）
qq_31404603的博客
04-03 1123
springBoot对elasticsearch的支持可以提供直接在Controller层直接调用的数据查询，此查询不需要你自己写任何查询语句就可以实现。 maven依赖： <dependency> <groupId>org.springframework.boot</groupId> <artifac...
datax3.0 关于 elasticsearch表的数据抽取
curry01100110的博客
11-19 3148
关于使用datax同步数据最重要的是——作业json的编写 参考案列：datax-elasticsearch/elasticsearchreader.md at master · mario1oreo/datax-elasticsearch · GitHub 但是实际操作还是存在一些差异 es的基本语法： 参考：Elasticsearch基本语法 - 半岛弥情 - 博客园 工作上的实践成功案例：es版本号5.4.1 es_to_tdh json： { "job":{ ...
Es elasticsearch 十八 Logstash 数据抽取工具
银河系天城知识宝库_技术专家蒋浩宇
06-07 1333
从原数据 获取数据 发送到 某地方。输入 过滤 输出。
es-head Elasticsearch的可视化操作插件
12-19
es-head是一个针对Elasticsearch的可视化操作插件。它提供了一个便捷的操作工具，可以连接Elasticsearch搜索引擎，并提供可视化的操作页面，对Elasticsearch进行各种设置和数据检索功能的管理。 es-head 插件可以在...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于数据检索、分析和管理。作为分布式、RESTful风格的搜索和数据分析引擎，Elasticsearch能够提供实时、高可用性以及可扩展的搜索功能。在进行日常的数据...
【Elasticsearch专栏 10】深入探索：Elasticsearch如何进行数据导入和导出
weixin_40736233的博客
02-24 3032
在Elasticsearch中，数据导入常通过Bulk API、Logstash或Java客户端进行，支持JSON、CSV等格式。导出则可通过SQL查询、Scroll API或第三方工具如elasticdump实现，将数据以JSON、CSV等格式导出。这些方法确保了数据的高效、安全导入与导出。
elastic
crazyhacking的专栏
11-07 685
elastic vs solr； 优点：1）天然的分布式
Elasticsearch-搜索并获取数据
weixin_30807677的博客
06-10 223
Elasticsearch-搜索并获取数据 在group中搜索elasticsearch curl -XGET "localhost:9200/get-together/group/_search?\ > q=elasticsearch\ > &fields=name,location\ > &size=1\ > $pretty" UR...
软件安装篇 - elastic search安装
风一样的少年
12-15 290
安装方式 使用helm3安装 部署 添加chart源 helm add repo apphub https://apphub.aliyuncs.com/ 搜索elastic search的chart helm search repo elasticsearch fetch 这个chart helm fetch apphub/elasticsearch 修改value.yaml 配置文件，下面是部分 ，视情况而定 master: replicas: 1 # 副本数 he
Elastic Search(一)
LMY0210的博客
11-24 608
官网: https://www.elastic.co/Elasticsearch (简称ES)是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。查询和分析可以自定义搜索方式: 通过 Elasticsearch，您能够执行及合并多种类型的搜索（结构化数据、非结构化数据、地理位置、指标），搜索方式随心而变。先从一个简单的问题出发，试试看能够从中发现些什么。分析大规模数据: 找到与查询最匹配的 10 个文档并不困难。但如果面对的是十亿行日志，又该如何解读呢？
Elasticsearch相关软件安装
yfy的博客
06-04 334
4.1. Windows安装elasticsearch 1、安装JDK，至少1.8.0_73以上版本，验证：java -version。 2、下载和解压缩Elasticsearch安装包，查看目录结构。 https://www.elastic.co/cn/downloads/elasticsearch bin：脚本目录，包括：启动、停止等可执行脚本 config：配置文件目录 data：索引目录，存放索引文件的地方 logs：日志目录 modules：模块目录，包括了es的功能模块 plu
滴滴滴，安装Elastic找我就够了
bayitalk
04-07 386
Elasticsearch虚拟机安装一条龙服务
Elasticsearh安装
520_LH
10-04 596
Elasticsearch官网：https://www.elastic.co/cn/products/elasticsearch Elasticsearch下载：在这里选择适合自己的sha 安装（elasticsearch无需安装，解压即用） 双击运行elasticsearch.bat 效果如下 可以看到绑定了两个端口: 9300：java程序访问的断就 9...
elastic 概述
weixin_60934893的博客
11-25 1429
ES的介绍ES是一个使用Java语言并且基于Lucene编写的搜索引擎框架，他提供了分布式的全文搜索功能，提供了一个统一的基于RESTful风格的WEB接口，官方客户端也对多种语言都提供了相应的API。Lucene：Lucene本身就是一个搜索引擎的底层。分布式：ES主要是为了突出他的横向扩展能力。全文检索：将一段词语进行分词，并且将分出的单个词语统一的放到一个分词库中，在搜索时，根据关键字去分词库中检索，找到匹配的内容。（倒排索引）RESTful风格的WEB接口。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值