需求：使用postgresql13版本测试中文全文检索功能
安装postgresql13数据库
我这里是使用的docker容器安装测试的
1、创建一个centos7镜像容器
docker run -di --name postgres13 --privileged=true -p 5432:5432 centos:7 /usr/sbin/init
进入容器
docker exec -it postgres13 bash
以下操作都是在容器内操作！
2、安装yum源
yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
3、开始安装
yum install -y gcc gcc-c++ epel-release llvm5.0 llvm5.0-devel clang libicu-devel perl-ExtUtils-Embed readline readline-devel zlib zlib-devel openssl openssl-devel pam-devel libxml2-devel libxslt-devel openldap-devel systemd-devel tcl-devel python-devel centos-release-scl-rh
yum makecache
yum -y install postgresql13-server.x86_64 postgresql13-devel.x86_64
5、初始化数据库
/usr/pgsql-13/bin/postgresql-13-setup initdb
systemctl enable postgresql-13
systemctl start postgresql-13
6、配置账号信息
su -postgres
psql
创建用户
create user test with password '123.com';
创建数据库
create database test_db owner test;
7、设置远程配置
修改配置文件postgresql.conf – 允许远程
位置：/var/lib/pgsql/13/data/postgresql.conf
修改： listen_addresses = '*'
修改配置文件pg_hba.conf – 访问规则
位置：/var/lib/pgsql/13/data/pg_hba.conf
修改：底部Ipv4下新增 host all all 0.0.0.0/0 md5 访问规则
重启服务
systemctl restart postgresql-13.service
安装中文检索组件
安装zhparser
安装zhparser前，需要安装scws
安装编译工具
yum install gcc make wget git -y
wget http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2
./configure && make && make install
git clone https://github.com/amutu/zhparser.git
export PATH=/usr/pgsql-13/bin:$PATH
make && make install
登录数据库
[root@229372496fad zhparser-master]# su - postgres
-bash-4.2$ psql
psql (13.4)
Type "help" for help.
#创建扩展
postgres=# create extension zhparser;
CREATE EXTENSION
postgres=# \dFp
List of text search parsers
Schema | Name | Description
------------+----------+---------------------
pg_catalog | default | default word parser
public | zhparser |
(2 rows)
#将扩展应用到配置中
postgres=# create text search configuration chinese (PARSER = zhparser);
CREATE TEXT SEARCH CONFIGURATION
#查看所有语言列表
postgres=# \dF
List of text search configurations
Schema | Name | Description
------------+------------+---------------------------------------
pg_catalog | arabic | configuration for arabic language
pg_catalog | danish | configuration for danish language
pg_catalog | dutch | configuration for dutch language
pg_catalog | english | configuration for english language
.
.
.
public | chinese |
(24 rows)
删除中文检索扩展命令
test_db=# drop extension zhparser CASCADE ;
NOTICE: drop cascades to text search configuration chinese
DROP EXTENSION
使用全文检索
查看数据库中已经安装的全文检索配置
\dF *
postgresql官方提供了一种数据类型tsvector来存储预处理后的文档，还提供了一种类型tsquery来表示处理过的查询。有很多函数和操作符可以用于这些数据类型，其中最重要的是匹配操作符@@，通过动态检索自然语言文档的集合，定位到最匹配的查询结果。全文搜索还可以使用索引来加速。
使用帮助
1、PostgreSQL中的全文搜索基于匹配操作符@@，它在一个tsvector（文档）匹配一个tsquery（查询）时返回true
搜索a fat cat sat on a mat and ate a fat rat中存不存在cat和rat
SELECT 'a fat cat sat on a mat and ate a fat rat'::tsvector @@ 'cat & rat'::tsquery;
?column?
----------
t
正如以上例子所建议的，一个tsquery并不只是一个未经处理的文本，顶多一个tsvector是这样。一个tsquery包含搜索术语，它们必须是已经正规化的词位，并且可以使用 AND 、OR、NOT 以及 FOLLOWED BY 操作符结合多个术语。有几个函数to_tsquery、plainto_tsquery以及phraseto_tsquery可用于将用户书写的文本转换为正确的tsquery，它们会主要采用正则化出现在文本中的词的方法。相似地，to_tsvector被用来解析和正规化一个文档字符串。因此在实际上一个文本搜索匹配可能看起来更像：
SELECT to_tsvector('fat cats ate fat rats') @@ to_tsquery('fat & rat');
?column?
----------
t
2、在tsquery中，&（AND）操作符指定它的两个参数都必须出现在文档中才表示匹配。类似地，|（OR）操作符指定至少一个参数必须出现，而!（NOT）操作符指定它的参数不出现才能匹配。例如，查询fat & ! rat匹配包含fat但不包含rat的文档。
搜索fat cats ate fat rats中存在ate并且不存在ca
SELECT to_tsvector('fat cats ate fat rats') @@ to_tsquery('ate & ! ca');
?column?
----------
t
判断两个词是不是相邻的
SELECT to_tsvector('fatal error not fatal') @@ to_tsquery('fatal <-> error');
?column?
----------
t
SELECT to_tsvector('fatal error not fatal') @@ to_tsquery('fatal <-> fatal');
?column?
----------
f
再看下在表中运用的例子
创建表
CREATE TABLE test(id int,info TEXT,crt_time TIMESTAMP);
INSERT INTO test SELECT generate_series(1,10000),md5(random()::TEXT),clock_timestamp();
可以在没有一个索引的情况下做一次全文搜索，指定要使用english配置来解析和正规化字符串
1、检索info列中的fcd801772aa08e53eb52fefc0504467d在id列的第几行
SELECT id
FROM test
WHERE to_tsvector('english', info) @@ to_tsquery('english', 'fcd801772aa08e53eb52fefc0504467d');
2、我们把表添加些中文数据，使用中文检索组件查找test表中 info字段包含数据中心的数据
SELECT *
FROM test
WHERE to_tsvector('chinese', info) @@ to_tsquery('chinese', '数据中心');
3、在test表格中，检索字段id或者info中，包含数据中心和大连的数据
SELECT *
FROM test
WHERE to_tsvector('chinese', id || ' ' || info) @@ to_tsquery('chinese', '数据中心 & 大连');
4、在test表格中，检索字段id或者info中，包含数据中心但是不包含大连的数据
SELECT *
FROM test
WHERE to_tsvector('chinese', id || ' ' || info) @@ to_tsquery('chinese', '数据中心 &!大连');
5、匹配关于数据词组的所有内容（官网写的是匹配开头是数据的数据，但是我测试，是匹配所有与数据相关的数据）
自定义中文字典
在CREATE EXTENSION之后，必须配置分词参数才能正确进行分词和查找，否则什么都查不到。官方文档提供的一个配置策略是:
CREATE TEXT SEARCH CONFIGURATION chinese (PARSER = zhparser);
ALTER TEXT SEARCH CONFIGURATION chinese ADD MAPPING FOR n,v,a,i,e,l WITH simple;
n,v,a,i,e,l这几个字母分别表示一种token策略，只启用了这几种token mapping，其余则被屏蔽。具体支持的参数和含义可以用\dFp+ zhparser显示:
postgres=# \dFp+ zhparser
Text search parser "public.zhparser"
Method | Function | Description
-----------------+-----------------+-------------
Start parse | zhprs_start |
Get next token | zhprs_getlexeme |
End parse | zhprs_end |
Get headline | prsd_headline | (internal)
Get token types | zhprs_lextype |
Token types for parser "public.zhparser"
Token name | Description
------------+------------------------
a | adjective,形容词
b | differentiation,区别词
c | conjunction,连词
d | adverb,副词
e | exclamation,感叹词
f | position,方位词
g | root,词根
h | head,前连接成分
i | idiom,成语
j | abbreviation,简称
k | tail,后连接成分
l | tmp,习用语
m | numeral,数词
n | noun,名词
o | onomatopoeia,拟声词
p | prepositional,介词
q | quantity,量词
r | pronoun,代词
s | space,处所词
t | time,时语素
u | auxiliary,助词
v | verb,动词
w | punctuation,标点符号
x | unknown,未知词
y | modal,语气词
z | status,状态词
(26 rows)
WITH simple表示词典使用的是内置的simple词典，即仅做小写转换。根据需要可以灵活定义词典和token映射，以实现屏蔽词和同义词归并等功能。
第一种方法：
使用php工具，把xdb文件格式导出成txt格式文件编辑后，再导入成xdb格式文件
优点：不需要重启数据库，不需要重新建立连接
缺点：响应速度慢
1、下载转换工具
http://www.xunsearch.com/scws/down/phptool_for_scws_xdb.zip
csdn上文件下载：https://download.csdn.net/download/zhanremo3062/29641651
2、安装php和php工具
yum install php php-mbstring -y
3、开启导入格式UTF8
vim make_xdb_file.php
第四行改为
define('IS_UTF8_TXT', true);
4、编辑字词
vim 3.txt
#<词> <词频(TF)> <词重(IDF)> <词性(北大标注)>
新词条 12.0 2.2 n
企鹅 12.0 2.2 n
科技有 12.0 2.2 n
限公司 12.0 2.2 n
词库文件的内容每一行的格式为词 TF IDF 词性，词是必须的，而 TF 词频(Term Frequency)、IDF 反文档频率(Inverse Document Frequency) 和 词性 都是可选的，除非确定自己的词典资料是对的且符合 scws 的配置
5、把txt文件转换成xdb文件
格式是 php make_xdb_file.php <要生成的.xdb> [导入的文本文件]
php make_xdb_file.php dict4.utf8.xdb 3.txt
6、把文件放到指定位置
我的pgsql是使用容器启动的，所以我把dict4.utf8.xdb文件放到下面目录，并改名为dict.utf8.xdb
docker cp dict4.utf8.xdb postgres13:/usr/pgsql-13/share/tsearch_data/dict.utf8.xdb
注意：默认文件名字是dict.utf8.xdb，不过我们也可以直接使用txt格式的文件当成我们的词库，会比xdb格式的慢。比如自定义的txt文件名字叫：mydict.txt，需要在postgresql.conf文件中添加：zhparser.extra_dicts = 'mydict.txt'，zhparser.dict_in_memory = true
7、重启数据库并验证
test_zhparser=# SELECT *
test_zhparser-# FROM test
test_zhparser-# WHERE to_tsvector('chinese', info) @@ to_tsquery('chinese', '企鹅');
id | info | crt_time
----+--------------------+----------------------------
12 | 小企鹅科技有限公司 | 2021-10-08 09:17:26.579552
4 | 小企鹅科技有限公司 | 2021-10-08 09:17:26.579541
3 | 小企鹅 | 2021-10-08 09:17:26.57954
(3 rows)
第二种方法：
把字典实时写入到数据库表中
优点：可以把字词实时写入到字典中
缺点：需要重新创建链接，同步数据后才能使用之前添加的字词
创建完成zhparserextension
postgres=# \c test_zhparser;
create extension zhparser;
CREATE TEXT SEARCH CONFIGURATION chinese (PARSER = zhparser);
ALTER TEXT SEARCH CONFIGURATION chinese ADD MAPPING FOR n,v,a,i,e,l WITH simple;
这里有一个问题，默认的zhparser.zhprs_custom_word表是空的，并且attr字段有检查，只能是@或者！，不能inset 其他数据，所以我们这里得把检查删除，并添加自定义数据即可
1、删除检查
2、添加自定义数据
#切换数据库
postgres=# \c test_zhparser;
#往表里添加数据
test_zhparser=# insert into zhparser.zhprs_custom_word (word,tf,idf,attr) values ('小企鹅',1.00,2.00,'n');
INSERT 0 1
test_zhparser=# insert into zhparser.zhprs_custom_word (word,tf,idf,attr) values ('科技',1.00,2.00,'n');
INSERT 0 1
test_zhparser=# insert into zhparser.zhprs_custom_word (word,tf,idf,attr) values ('有限',1.00,2.00,'n');
INSERT 0 1
test_zhparser=# insert into zhparser.zhprs_custom_word (word,tf,idf,attr) values ('公司',1.00,2.00,'n');
INSERT 0 1
同步下表数据，重新登录再次检索数据
test_zhparser=# select sync_zhprs_custom_word();
sync_zhprs_custom_word
------------------------
(1 row)
test_zhparser=# \q
[root@da31b86bbc9c /]# su - postgres -c psql
psql (13.4)
Type "help" for help.
postgres=# \c test_zhparser;
You are now connected to database "test_zhparser" as user "postgres".
test_zhparser=# SELECT *
FROM test
WHERE to_tsvector('chinese', info) @@ to_tsquery('chinese', '有限');
NOTICE: zhparser set dict : "/usr/pgsql-13/share/tsearch_data/dict.utf8.xdb" failed!
id | info | crt_time
----+--------------------+----------------------------
12 | 小企鹅科技有限公司 | 2021-10-08 09:17:26.579552
26 | 有限公司 | 2021-10-08 09:17:26.57957
4 | 小企鹅科技有限公司 | 2021-10-08 09:17:26.579541
(3 rows)
高亮显示检索匹配内容
postgresql本身自带高亮功能
使用ts_headline即可实现
比如，检索test表格，关于小企鹅的数据，高亮显示科技字段
SELECT
*,ts_headline('chinese',info,to_tsquery('科技'))
FROM test
WHERE to_tsvector('chinese',info) @@ to_tsquery('chinese', '小企鹅');
高亮部分会被使用<b> </b>标签
下面的例子会把在字典中的分词全部高亮显示出来
小企鹅、科技、有限、公司 这几个词是我们上面自定义字典分词的
SELECT
*,ts_headline('chinese',info,to_tsquery('chinese','小企鹅科技有限公司'))
FROM test
WHERE to_tsvector('chinese',info) @@ to_tsquery('chinese', '小企鹅科技');
id | info | crt_time | ts_headline
----+--------------------+----------------------------+------------------------------------------------
12 | 小企鹅科技有限公司 | 2021-10-08 09:17:26.579552 | <b>小企鹅</b><b>科技</b><b>有限</b><b>公司</b>
4 | 小企鹅科技有限公司 | 2021-10-08 09:17:26.579541 | <b>小企鹅</b><b>科技</b><b>有限</b><b>公司</b>
(2 rows)
下面的例子会把关于小企鹅或者科技的结果显示出来，并高亮指定分词
SELECT
*,ts_headline('chinese',info,to_tsquery('chinese','小企鹅科技有限公司'))
FROM test
WHERE to_tsvector('chinese',info) @@ to_tsquery('chinese', '小企鹅 | 科技');
控制检索结果数目
控制匹配结果数目，正常是会显示25列，使用LIMIT控制显示10列
SELECT
*,ts_headline('chinese',info,to_tsquery('chinese','公司'))
FROM test
WHERE to_tsvector('chinese',info) @@ to_tsquery('chinese', '小企鹅') ORDER BY test DESC LIMIT 10;
待完善内容
1、添加索引，增加检索速度
2、pg_search命令工具全文检索远程数据库
3、
问题总结
问题1：make: pg_config: Command not found make: *** No targets. Stop.
解决：
export PATH=/usr/pgsql-13/bin:$PATH
再重新编译安装
make & make install
问题2：ERROR: could not access file "$libdir/zhparser": 没有那个文件或目录
解决：
这是因为依赖文件不对，需要把文件全部替换成新编译后的依赖文件
这里就需要手动去将文件移动至指定目录：
/usr/lib64/pgsql/zhparser.so → /usr/pgsql-13/lib (/usr/pgsql-11/是PostgreSQL安装后路径，如果PostgreSQL是使用的YUM安装方式，路径应该是一样)
还有/usr/share/pgsql/extension/ → /usr/pgsql-13/share/extension、/usr/share/pgsql/tsearch_data/ → /usr/pgsql-13/share/tsearch_data
问题3：WARNING: sql version 9.2, server version 13.0.Some psql features might not work. Type "help" for
解决：
mv /bin/psql /bin/psql-bk
ln -s /usr/pgsql-13/bin/psql /bin/psql
参考博文：
https://blog.csdn.net/qq_21948951/article/details/89680468
http://www.postgres.cn/docs/13/textsearch-tables.html
https://cloud.tencent.com/developer/article/1430039
http://pgbook.rails365.net/467197
https://www.postgresql.org/docs/9.4/textsearch-controls.html
https://www.jianshu.com/p/0dc2a8bf9631
https://github.com/amutu/zhparser/blob/master/README.md
965
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
