基于Sentence Transformers和faiss文本检索与匹配算法

1、整体框架介绍

本次项目采用Sentence Transformers特征提取模型和深度学习向量库faiss的方法去实现文本检索与匹配。其中输入的文本数据流，包含离线和实时的数据，通过特征提取模型将提取的特征存入npy文件和faiss向量库中，利用faiss中的余弦相似度去计算是否相似。

1.1、SentenceTransformers 库介绍

SentenceTransformers 是一个可以用于句子、文本和图像嵌入的Python库。 可以为 100 多种语言计算文本的嵌入并且可以轻松地将它们用于语义文本相似性、语义搜索和同义词挖掘等常见任务。
该框架基于 PyTorch 和 Transformers，并提供了大量针对各种任务的预训练模型。 还可以很容易根据自己的模型进行微调。
阅读论文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks，深入了解模型的训练方式。 在本文中，我们将看到该库的一些可能用例的代码示例。

具体细节请参考：https://blog.csdn.net/deephub/article/details/122516399

1.2、faiss介绍