系统学习Lucene全文检索技术（二）

一、Lucene入门

1、Lucene准备

Lucene可以在官网上下载。课程已经准备好了Lucene的文件，我们使用的是7.7.2版本

2、创建IDEA maven项目

(1)pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.dhu</groupId>
    <artifactId>luceneDemo1</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <skipTests>true</skipTests>
    </properties>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.4.RELEASE</version>
    </parent>

    <dependencies>
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.6</version>
        </dependency>
        <!--引人lucene的核心jar包 -->
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>7.7.2</version>
        </dependency>
        <!--lucene分词器-->
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-common</artifactId>
            <version>7.7.2</version>
        </dependency>
        <!--lucene查询-->
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-queryparser</artifactId>
            <version>7.7.2</version>
        </dependency>

        <!-- 测试 -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <!-- mysql数据库驱动 -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.48</version>
        </dependency>

        <!-- IK中文分词器 -->
        <dependency>
            <groupId>org.wltea.ik-analyzer</groupId>
            <artifactId>ik-analyzer</artifactId>
            <version>8.1.0</version>
        </dependency>
        <!--web起步依赖-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!-- 引入thymeleaf -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-thymeleaf</artifactId>
        </dependency>
        <!-- Json转换工具 -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.51</version>
        </dependency>
    </dependencies>


</project>

 

3、创建索引库

（1）在本地磁盘创建一个文件夹，创建的文件夹称为索引库，用来存放生成的lucene索引文件（目录）和文档文件（内容）

D:\ORACLE\JAVA26\lucene-dir

（2）将导入的数据库表进行切分词，组成目录（索引）和文档，然后将索引和文档写入lucene-dir，该文件夹称为索引库。

(3)读取数据库中的每一条数据，对应组成了一个Document文档对象；

在每个文档对象中，是由多个Field域构成；每个域是由 key:value（域名:域值）组成。

那么，我们可以把从数据库中查询出来的每条数据 => 字段名作为域名，字段值作为域值；将它们放到文档对象中。

 

4、编写测试 => 实现索引流程

1. 采集数据
2. 创建Document文档对象
3. 创建分析器（分词器）
4. 创建IndexWriterConfig配置信息类
5. 创建Directory对象，声明索引库存储位置
6. 创建IndexWriter写入对象
7. 把Document写入到索引库中
8. 释放资源

package com.dhu.test;

import com.dhu.bean.Sku;
import com.dhu.mapper.SkuDao;
import org.apache.ibatis.io.Resources;
import org.apache.ibatis.session.SqlSession;
import org.apache.ibatis.session.SqlSessionFactory;
import org.apache.ibatis.session.SqlSessionFactoryBuilder;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.io.InputStream;
import java.nio.file.Paths;
import java.util.ArrayList;
import java.util.List;

/**
 * 索引库维护
 * @author zhou
 * @create 2020/6/4
 */
public class TestIndexManager {
    private SkuDao skuDao;
    private SqlSession sqlSession;
    private InputStream inputStream;
    private IndexWriter writer;

    @Before //用于在测试方法执行之前执行
    public void init() throws Exception{
        //1.读取配置文件，生成字节输入流
        inputStream = Resources.getResourceAsStream("mybatis-config.xml");
        //2.获取SqlSessionFactory
        SqlSessionFactory factory = new SqlSessionFactoryBuilder().build(inputStream);
        sqlSession = factory.openSession();
        //获取dao的代理对象
        skuDao = sqlSession.getMapper(SkuDao.class);
    }

    @Test
    public void testIndexManager() throws IOException {
        //1.采集对象
        List<Sku> skuList = skuDao.querySkuList();
        //2.创建文档对象集合
        List<Document> documents = new ArrayList<>(); //并不是数据表中所有的属性都要放入到文档中，需要哪些字段才放
        for (Sku sku : skuList) {
            //2.1 创建一个文档对象
            Document document = new Document();
            //2.2 创建域对象，并放入文档对象中
            document.add(new TextField("id", sku.getId(), Field.Store.YES ));
            document.add(new TextField("name", sku.getName(), Field.Store.YES ));
            document.add(new TextField("price", String.valueOf(sku.getPrice()), Field.Store.YES ));
            document.add(new TextField("image", sku.getImage(), Field.Store.YES ));
            document.add(new TextField("categoryName", sku.getCategoryName(), Field.Store.YES ));
            document.add(new TextField("brandName", sku.getBrandName(), Field.Store.YES ));
            document.add(new TextField("spec", sku.getSpec(), Field.Store.YES ));

            documents.add(document);
        }
        //3.创建分词器：把文档对象中的内容提取出来，进行切分词 => 把一句一句话，切分成一个一个词 => 把词组成索引 => 查询的时候，可以通过索引，找到文档对象
        //3.1 StandardAnalyzer 标准分词器，对英文分词效果好；对中文是单个字分词，也就是一个字默认是一个词
        Analyzer analyzer = new StandardAnalyzer();
        //4.创建Directory目录对象 => 目录对象表示索引库的位置(存到硬盘的哪个位置)
        Directory directory = FSDirectory.open(Paths.get("D:/ORACLE/JAVA26/lucene-dir"));
        //5.创建IndexWriterConfig对象（输出流初始化对象），这个对象中指定切分词使用的分词器
        IndexWriterConfig config = new IndexWriterConfig(analyzer);
        //6.创建IndexWriter输出流对象，指定输出的目录位置和使用的config初始化对象
        writer = new IndexWriter(directory, config);
        //7.写入文档到索引库
        for (Document doc : documents) {
            writer.addDocument(doc);
        }
        //8.释放资源
    }

    @After //用于在测试方法执行之后执行
    public void close() throws Exception{
        writer.close();
        sqlSession.close();
        inputStream.close();
    }
}

 

5、结果

 

二、使用luke工具查看索引库内容

1、注意：文件路径不能有中文

2、windows系统，双击打开luke.bat