ElasticSearch 全文检索

2019-07-29 15:00:13 52 收藏
分类专栏： 笔记摘录 文章标签： ElasticSearch 全文检索
最后发布:2019-07-29 15:00:13首次发布:2019-07-29 15:00:13
版权声明：本文为博主原创文章，遵循<a href="http://creativecommons.org/licenses/by-sa/4.0/" target="_blank" rel="noopener"> CC 4.0 BY-SA </a>版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zwzzwz11/article/details/97623623
版权

ElasticSearch

简称ES，基于Lucene全文检索引擎服务，支持分布式集群（数据横向扩展，分布式计算）

什么是全文检索:

全文检索是计算机程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当用户查询时根据建立的索引查找，类似于通过字典的检索字表查字的过程。

全文检索（Full-Text Retrieval(检索)）以文本作为检索对象，找出含有指定词汇的文本。全面、准确和快速是衡量全文检索系统的关键指标。

关于全文检索，我们要知道：

  1. 只处理文本。

  2. 不处理语义。

  3. 搜索时英文不区分大小写。

  4. 结果列表有相关度排序。

全文检索原理：
在这里插入图片描述

应用场景：
1.全文检索或者搜索服务
2.Nosql（ES中的数据单元为JSON）
3.构建ELK数据分析平台–完整的数据分析的解决方案
关键术语：
1.NRT（near real time）
接近实时–数据存储后一秒后才能检索到

Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒内)

2.Cluster（集群）
在这里插入图片描述
3.Node（节点）：一个es服务
4.Index（索引）：倒排序索引结构–索引到数据的一种映射关系
在这里插入图片描述

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。索引类似于关系型数据库中Database 的概念。在一个集群中，如果你想，可以定义任意多的索引。

5.Type（类型）

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数 据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可 以为评论数据定义另一个类型。类型类似于关系型数据库中Table的概念。

NOTE: 在5.x版本以前可以在一个索引中定义多个类型,6.x之后版本也可以使用,但是不推荐,在8.x版本中彻底移除一个索引中创建多个类型

6.Mapping（映射）

Mapping是ES中的一个很重要的内容，它类似于传统关系型数据中table的schema（结构），用于定义一个索引(index)中的类型(type)的数据的结构。 在ES中，我们可以手动创建type(相当于table)和mapping(相关与schema),也可以采用默认创建方式。在默认配置下，ES可以根据插入的数据自动地创建type及其mapping。 mapping中主要包括字段名、字段数据类型和字段索引类型

7.Document（文档）–es中的一条记录（json数据结构）

一个文档是一个可被索引的基础信息单元，类似于表中的一条记录。比如，你可以拥有某一个员工的文档,也可以拥有某个商品的一个文档。文档以采用了轻量级的数据交换格式JSON(Javascript Object Notation)来表示。

8.Field（字段或者域）–类似于Table中的Column
9.Replicas（复制）
在这里插入图片描述
10.Shard （分片）
环境搭建
准别工作：centos7 64位 es6.4.0 jdk1.8
1. 在官方网站下载ES
wget http://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.1.tar.gz

  1. 安装JDK(必须JDK1.8+)
    rpm -ivh jdk-8u181-linux-x64.rpm
    /注意:默认安装位置 /usr/java/jdk1.8.0_171-amd64/

  2. 配置环境变量
    vim /etc/profile
    在文件末尾加入:
    export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
    export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

  3. 重载系统配置
    source /etc/profile

  4. 安装elasticsearche
    tar -zxvf elasticsearch-6.4.1.tar.gz

  5. elasticsearche的目录结构
    bin 可执行的二进制文件的目录
    config 配置文件的目录
    lib 运行时依赖的库
    logs modules 运行时日志文件
    plugins es中提供的插件

  6. 运行es服务
    在bin目录中执行 ./elasticsearch

     注意:root用户启动[2018-09-19T14:50:04,029][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

  7. 不能以root用户身份启动

    a.在linux系统中创建新的组
    groupadd es

    b.创建新的用户es并将es用户放入es组中
    useradd es -g es

    c.修改es用户密码
    passwd es

    d.将root用户解压的文件移动到es用户目录中
    mv /root/elasticsearch-6.2.4 /home/es/

    f.改变文件的所有者
    chown -R es:es 当前es的安装目录(这里是:/home/es/elasticsearch)

  8. 登录es用户启动ES
    ./elasticsearch 启动ES

  9. 测试ES是否启动成功
    在命令终端中执行: curl http://localhost:9200 出现以下信息:
    {
    “name” : “xQK1cwT”,
    “cluster_name” : “elasticsearch”,
    “cluster_uuid” : “t7IYk7LKQ0mXcyyrdFWpLg”,
    “version” : {
    “number” : “6.2.4”,
    “build_hash” : “ccec39f”,
    “build_date” : “2018-04-12T20:37:28.497551Z”,
    “build_snapshot” : false,
    “lucene_version” : “7.2.1”,
    “minimum_wire_compatibility_version” : “5.6.0”,
    “minimum_index_compatibility_version” : “5.0.0”
    },
    “tagline” : “You Know, for Search”
    }

  10. 开启ES远程访问
    vim elasticsearch.yml 将原来network修改为以下配置:
    network.host: 0.0.0.0

  11. 启动时错误解决方案

    a.重新启动es出现如下错误
    ERROR: bootstrap checks failed[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
    解决方案:

    切换到root用户修改

    vim /etc/security/limits.conf

    在最后面追加下面内容

    *               soft    nofile          65536
*               hard    nofile          65536
*               soft    nproc           4096
*               hard    nproc           4096

    退出重新登录检测配置是否生效:

    ulimit -Hn
ulimit -Sn
ulimit -Hu
ulimit -Su

    b.重新启动出现如下错误
    ERROR: max number of threads [3802] for user [chenyn] is too low,increase to at least [4096]
    解决方案:
    #进入limits.d目录下修改配置文件。
    vim /etc/security/limits.d/20-nproc.conf

    修改为 启动ES用户名 soft nproc 4096

    c.重新启动出现如下错误
    ERROR: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
    解决方案:
    vim /etc/sysctl.conf
    vm.max_map_count=655360
    #执行以下命令生效：
    sysctl -p

  12. 关闭网络防火墙
    systemctl stop firewalld
    systemctl disable firewalld

  13. 外部浏览器访问即可
    http://es的主机名:9200 出现如下信息说明安装成功:
    {
    “name” : “xQK1cwT”,
    “cluster_name” : “elasticsearch”,
    “cluster_uuid” : “t7IYk7LKQ0mXcyyrdFWpLg”,
    “version” : {
    “number” : “6.2.4”,
    “build_hash” : “ccec39f”,
    “build_date” : “2018-04-12T20:37:28.497551Z”,
    “build_snapshot” : false,
    “lucene_version” : “7.2.1”,
    “minimum_wire_compatibility_version” : “5.6.0”,
    “minimum_index_compatibility_version” : “5.0.0”
    },
    “tagline” : “You Know, for Search”
    }
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在线安装IK/拼音中文分词器

已标记关键词 清除标记
PHP实现Elasticsearch全文检索
p_ython的博客
08-23 2987
1.首先第一步创建一个空的composer.json文件 2.使用composer下载vendor 3.vendor下载成功之后，再在composer.json文件添加 { "require":{ "elasticsearch/elasticsearch" : "~1.2" } } 下载elasticsearch依赖的文件 4.然后再使用composer inst
表情包
插入表情
还能输入1000个字符 “速评一下”
Elasticsearch全文检索系统实现深入详解
铭毅天下（公众号同名）
07-23 1万+
题记学习ES的童鞋，都有一个开发一个类似百度的搜索引擎的想法。当然功能不一定是百度、360、谷歌传统的搜索引擎那么强大。但是，能实现基本的全文检索、指定类型的检索、评分高低优先级排序等等。那么问题来了，该如何实现？需要什么技术呢？1、效果图注：这张图是从网上down的，我已经实现了上述功能。 （不能截图，原因：你懂的！）2、前后端交互2.1 Elasticsearch服务端作为检索引擎，数据是
Elasticsearch全文检索优化研究
weixin_30407099的博客
11-21 161
Elasticsearch全文检索优化研究 背景 今年工作的一个重点是“新技术新模式”的导入和研究。Elasticsearch技术比较火，各项目和产品用的都也比较多。其中某团队遇到一个问题：“在TB级的数据量下进行全文检索时，ES集群检索响应速度比较慢”。虽然由于各种原因没有接触到系统，没有看到代码，甚至都没见到具体现象，但是任务分配下来了，就要有结果就要出方案。“没吃过猪肉，也得先见见猪跑”，先...
Spring和Elasticsearch全文搜索整合详解
feiyangtianyao的专栏
07-10 1695
Spring和Elasticsearch全文搜索整合详解 一、概述 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 ES是ElasticSearch的缩写； ELK是三个开源软件的缩写，分别...
elasticsearch的实现全文检索
qq_14950717的博客
08-19 3354
elasticsearch一个准实时的搜索引擎，基于lucene构建，它的主要强项还是在全文检索方面。工作中还是使用到了这部分功能，这里做一个简单的总结，可以使初次使用的人很快的配置和使用。 一、全文检索的概念 首先介绍全文检索的概念，就是对一篇文章进行索引，可以根据关键字搜索，类似于mysql里的like语句。 全文索引就是把内容根据词的意义进行分词，然后分别创建索引，例如”你们的激情是
ElasticSearch 基本原理之全文检索
知识的搬运工
11-01 414
一、开篇几个问题 1、大规模数据如何检索？ 当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑： 1）用什么数据库好？(MySQL、sybase、Oracle、达梦、神通、MongoDB、Hbase…) MySQL：通过分库分表可以存海量数据，但是做数据检索效率是达不到毫秒级别，并且数据检索只能支持模糊查询，不支持全文检索、分词检索 以上数据库都可以做海量数据存储，但都不适合做检索的工作。 2）如何解决单点故障；(lvs、F5、A10、Zookeeper、MQ) 集
Elasticsearch实战——全文检索架构设计
ANGEL CITY
02-27 2907
MySQL几种搜索引擎概述 一、引言 近几年，Elasticsearch（一下简称ES）作为开源的搜索引擎已经在国内得到越来越多的应用推广，在日志分析领域应用场景尤为广泛。传统的数据库MySQL、Oracle或者非关系型数据库MongoDB作为基础存储的企业要想实现业务数据的全文检索，该如何实现呢？ 本文给出架构设计和实现原理。 二、为什么使用ES 1.大数据背景下数据量的积累与数据应用...
ES(ElasticSearch)分布式全文搜索引擎介绍及使用方式
john_person的博客
11-05 6万+
1.什么是ES **ES** 全称 **ElasticSearch** 是一种分布式全文搜索引擎，基于Lucene(全文搜索框架)开发而来。 Lucene是公认的迄今为止的最好用的搜索引擎库，但是他所提供的API对于我们使用者来说，是非常苦恼的，常要花费大量时间去熟悉学习。ES的出现就很好的解决了这个问题，良好的封装，易用的API，链式书写方式，开瓶即饮。 2.ES特点 **ES** 虽然是以L...
es全文检索论文_浅谈使用ElasticSearch实现全文检索
weixin_39949894的博客
12-22 24
浅谈使用ElasticSearch实现全文检索IDEADATA-iDSP-Yeun 2016年5月15日现如今，无论是互联网信息还是企业内部每天产生的信息，都在以指数级增长，对于企业内部，每天发生的大量数据，尤其是非结构化数据中，如何能快速查找到对企业内部有用的信息，成为每个公司开始关注的重点。前段时间，笔者就接到类似的需求，某大型保险企业，希望能够将每天发生在企业内部的非结构化数据进行存储与...
ElasticSearch 全文搜索
neweastsun的专栏
06-22 1604
ElasticSearch 全文搜索 对文档执行全文检索，包括单个或多个单词或词组查询，返回匹配条件的搜索结果。 ElasticSearch 是基于Apache Lucene的搜索引擎，一个开源、免费信息检索软件库。基于HTTP协议web接口和无模式json文档方式提供分布式、全文检索引擎。 本文探究下 ElasticSearch REST API 并演示基于HTTP 请求的基本查询操作。 安装环...
elasticsearch全文检索java
weixin_30517001的博客
10-16 111
/*** es全文检索java实现API* @author zxy**/ public class EsPersonDao { /** * * @param index 查询的索引 * @param str 查询内容 * @param Page 页码 * @param Pagesize 每页显示条数 * @retur...
Elasticsearch全文搜索引擎，实现全文检索
小逗的博客
03-16 244
实现的目的：输入关键字进行搜索------>返回对应的结果 实现的工具：Elasticsearch全文搜索引擎 工作原理：Elasticsearch会根据搜索关键字建立索引结构数据，类似新华字典的索引检索页，根据索引快速查找。 Elasticsearch的使用：Elasticsearch用 Java 实现的，不能直接使用，所以要引入扩展Haystack建立索引，对接 Elasticsearc...
springboot整合elasticsearch全文检索入门
haponchang的博客
04-11 1906
摘要：只是简单的整合介绍 安装 下载elasticsearch与kibana https://www.elastic.co/start 依赖 springBootVersion = '2.0.5.RELEASE' compile group: 'org. 只是简单的整合介绍 安装 下载elasticsearch与kibanahttps://www.elastic.co/start 依赖...
elasticsearch 精确匹配与全文搜索
愿风裁尽尘中沙
06-08 9520
elasticsearch的两种搜索模式：exact value、full text。 一、exact value（精确匹配） 介绍： 比如搜索2017-01-01，使用exact value搜索的时候，必须输入2017-01-01，才能搜索出来；如果输入一个01，是搜索不出来的。 二、full text（全文搜索） 缩写 vs. 全程：cn vs. china，搜索cn，也可以将c...
一文了解 Elasticsearch 及其与 Python 的对接实现
HelloWorld搬运工
08-02 1万+
什么是 Elasticsearch 想查数据就免不了搜索，搜索就离不开搜索引擎，百度、谷歌都是一个非常庞大复杂的搜索引擎，他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说，肯定就没必要用这么复杂的技术了，如果我们想实现自己的搜索引擎，方便存储和检索，Elasticsearch 就是不二选择，它是一个全文搜索引擎，可以快速地储存、搜索和分析海量数据。 为什么要用 Ela...
java springboot 结合elasticsearch 实现全文检索 的步骤，有坑请绕行
weixin_37970049的博客
09-06 7062
开启springboot项目 首先我这里选择的是jestClient操作elasticsearch 这里还有一种方式是通过 ElasticsearchRepostiry类似jpa的一种工具接口，但会随着ela的版本的修改而变化代码，所以首选jestClient ok！第一步先导入依赖 <dependency> <groupId>org.springf...
Elasticsearch系列——全文搜索控制精准度
前方一片光明
09-08 2472
前言 本文主要是关于全文搜索控制精准度的操作 其他搜索请参考： 使用kibana或postman操作Elasticsearch的常用命令 使用kibana或postman操作Elasticsearch的高级搜索命令 一、使用operator 搜索结果中必须至少包括run、jump两种爱好 GET people/_search { "query": { "match": ...
使用ES全文检索.docx
03-25
简单介绍了Windows上安装启动ELK，并且介绍了springboot2.x上集成ES，logstash创建配置文件，sql文件 模板文件等。
ElasticSearch7 实现全文检索、关键词高亮
业余敲代码
10-07 1972
本篇概要：1. 全文检索概念；2. 全文检索引擎 ElasticSearch；3. 安装 ElasticSearch 以及中文分词插件 IK；3.1 安装 ElasticSearch7；3.2 安装 elasticsearch-head；3.3 ElasticSearch 设置密码；3.4 安装中文分词插件 IK；4. 创建索引；5. 全文数据检索以及关键字高亮显示； 1. 全文检索概念； 相关...
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页