centos7 postgresql10 安装 zhparser,配置中文全文检索

需求:使用postgresql10版本测试中文全文检索功能

postgresql13版本中文检索在这里

安装postgresql10数据库

我这里是使用的docker容器安装测试的
1、创建一个centos7镜像容器

docker run -di --name postgres10 --privileged=true -p 5432:5432 centos:7 /usr/sbin/init
docker exec -it postgres10 bash

2、安装yum源

yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

3、开始安装

yum makecache
yum -y install postgresql10-server.x86_64 postgresql10-devel.x86_64 

5、初始化数据库

/usr/pgsql-10/bin/postgresql-10-setup initdb
systemctl enable postgresql-10
systemctl start postgresql-10

6、配置账号信息

su -postgres
psql

创建用户

create user test with password '123.com';

创建数据库

create database test_db owner test;

退出

\q

7、设置远程配置
修改配置文件postgresql.conf – 允许远程

位置:/var/lib/pgsql/10/data/postgresql.conf
修改: listen_addresses = '*'

修改配置文件pg_hba.conf – 访问规则

位置:/var/lib/pgsql/10/data/pg_hba.conf
修改:底部Ipv4下新增 host all all 0.0.0.0/0 md5 访问规则

重启服务

systemctl restart postgresql-10.service

全文检索

提供了一种数据类型tsvector来存储预处理后的文档,还提供了一种类型tsquery来表示处理过的查询。有很多函数和操作符可以用于这些数据类型,其中最重要的是匹配操作符@@。全文搜索可以使用索引来加速

PostgreSQL中的全文搜索基于匹配操作符@@,它在一个tsvector(文档)匹配一个tsquery(查询)时返回true

e.g
搜索a fat cat sat on a mat and ate a fat rat中存不存在catrat

SELECT 'a fat cat sat on a mat and ate a fat rat'::tsvector @@ 'cat & rat'::tsquery;
 ?column?
----------
 t

正如以上例子所建议的,一个tsquery并不只是一个未经处理的文本,顶多一个tsvector是这样。一个tsquery包含搜索术语,它们必须是已经正规化的词位,并且可以使用 AND 、OR、NOT 以及 FOLLOWED BY 操作符结合多个术语。有几个函数to_tsquery、plainto_tsquery以及phraseto_tsquery可用于将用户书写的文本转换为正确的tsquery,它们会主要采用正则化出现在文本中的词的方法。相似地,to_tsvector被用来解析和正规化一个文档字符串。因此在实际上一个文本搜索匹配可能看起来更像:

SELECT to_tsvector('fat cats ate fat rats') @@ to_tsquery('fat & rat');
 ?column? 
----------
 t

在tsquery中,&(AND)操作符指定它的两个参数都必须出现在文档中才表示匹配。类似地,|(OR)操作符指定至少一个参数必须出现,而!(NOT)操作符指定它的参数不出现才能匹配。例如,查询fat & ! rat匹配包含fat但不包含rat的文档。
e.g
搜索fat cats ate fat rats中存在ate并且不存在ca

SELECT to_tsvector('fat cats ate fat rats') @@ to_tsquery('ate & ! ca');
 ?column? 
----------
 t

判断两个词是不是相邻的

SELECT to_tsvector('fatal error not fatal') @@ to_tsquery('fatal <-> error');
 ?column? 
----------
 t
 
SELECT to_tsvector('fatal error not fatal') @@ to_tsquery('fatal <-> fatal');
 ?column? 
----------
 f

从表中查询字段

先创建一个测试表

CREATE TABLE test(id int,info TEXT,crt_time TIMESTAMP);
INSERT INTO test SELECT generate_series(1,10000),md5(random()::TEXT),clock_timestamp();

可以在没有一个索引的情况下做一次全文搜索。
查看info列中的fcd801772aa08e53eb52fefc0504467did列的第几行

SELECT id
FROM test
WHERE to_tsvector('english', info) @@ to_tsquery('english', 'fcd801772aa08e53eb52fefc0504467d');

在这里插入图片描述
在这里插入图片描述

以上的查询指定要使用english配置来解析和正规化字符串。我们也可以忽略配置参数:

SELECT id
FROM test
WHERE to_tsvector(info) @@ to_tsquery('fcd801772aa08e53eb52fefc0504467d');

查看数据库中已经安装的全文检索配置

\dF *

在这里插入图片描述
目前全文检索是不支持中文的,需要额外安装插件

拓展文件安装目录:/usr/pgsql-13/share/extension

安装中文检索组件

安装zhparser

安装zhparser前,需要安装scws
安装编译工具

yum install gcc make wget git -y
wget http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2
./configure && make && make install
git clone https://github.com/amutu/zhparser.git
make && make install

登录数据库

[root@229372496fad zhparser-master]# su - postgres
-bash-4.2$ psql
psql (10.18)
Type "help" for help.

postgres=# create extension zhparser;
CREATE EXTENSION
postgres=# \dFp
         List of text search parsers
   Schema   |   Name   |     Description     
------------+----------+---------------------
 pg_catalog | default  | default word parser
 public     | zhparser | 
(2 rows)

问题总结

问题1:make: pg_config: Command not found make: *** No targets. Stop.
解决:

export PATH=/usr/pgsql-10/bin:$PATH

再重新编译安装

make & make install
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

登云时刻

整理不易,请个辣条吃吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值