好的，下面是一个基于关键词的文本排序检索系统的简单实现，使用了 TF-
IDF
模型和倒排索引。代码
中包含了注释，以便理解。请注意，这只是一个简单的示例，需要根据实际需求和具体情况进行调整和优化。
```c++
#include <iostream>
#include <fstream>
#include <sstream>
#include <vector>
#include <map>
#include <algorithm>
#include <cmath>
using namespace std;
// 定义一个结构体，表示文本信息
struct Document {
int
id; // 文本编号
string title; // 文本标题
string content; // 文本内容
};
class TextSearch {
private:
vector<Document> documents; // 存储所有文本信息
map<string, map<int, int>> invertedIndex; // 存储倒排索引
public:
// 加载文本库
vo
id loadDocuments(const string& filename) {
ifstream ifs(filename);
if (!ifs) {
cerr << "Error: failed to open file " << filename << endl;
return;
}
string line;
while (getline(ifs, line)) {
stringstream ss(line);
int
id;
string title, content;
ss >>
id >> title >> content;
documents.push_back({
id, title, content});
}
ifs.close();
}
// 创建倒排索引
vo
id createInvertedIndex() {
for (const auto& doc : documents) {
stringstream ss(doc.title + " " + doc.content);
string word;
while (ss >> word) {
// 去除停用词
if (isStopWord(word)) {
continue;
}
// 将单词转换为小写形式
transform(word.begin(), word.end(), word.begin(), ::tolower);
// 更新倒排索引
invertedIndex[word][doc.
id]++;
}
}
}
// 检索文本
vector<pair<int, double>> search(const string& query) {
// 将检索关键词转换为小写形式
string lowerQuery = query;
transform(lowerQuery.begin(), lowerQuery.end(), lowerQuery.begin(), ::tolower);
// 计算检索关键词的 TF 和
IDF 值
map<string, double> tf;
double maxTf = 0.0;
stringstream ss(lowerQuery);
string word;
while (ss >> word) {
// 去除停用词
if (isStopWord(word)) {
continue;
}
// 计算 TF 值
tf[word]++;
maxTf = max(maxTf, tf[word]);
}
for (auto& p : tf) {
p.second /= maxTf; // 归一化
}
map<string, double>
idf;
double N = documents.size();
for (const auto& p : invertedIndex) {
double df = p.second.size();
idf[p.first] = log(N / df);
}
// 计算文本的 TF-
IDF 值，然后计算得分
map<int, double> scores;
for (const auto& p : tf) {
const string& word = p.first;
double tf
idf = p.second *
idf[word];
for (const auto& q : invertedIndex[word]) {
int doc
Id = q.first;
int freq = q.second;
scores[doc
Id] += tf
idf * freq;
}
}
// 对得分进行排序，返回前十个结果
vector<pair<int, double>> results(scores.begin(), scores.end());
sort(results.begin(), results.end(), [](const auto& p, const auto& q) {
return p.second > q.second;
});
if (results.size() > 10) {
results.resize(10);
}
return results;
}
// 显示文本
vo
id displayDocument(int
id) {
const auto& doc = documents[
id];
cout << "Title: " << doc.title << endl;
cout << "Content: " << doc.content << endl;
}
private:
// 停用词列表
static const vector<string> stopWords;
// 判断一个单词是否为停用词
static bool isStopWord(const string& word) {
return find(stopWords.begin(), stopWords.end(), word) != stopWords.end();
}
};
// 初始化停用词列表
const vector<string> TextSearch::stopWords = {
"is", "am", "are", "a", "an", "the"
};
int main() {
TextSearch search;
search.loadDocuments("documents.txt");
search.createInvertedIndex();
while (true) {
cout << "Please enter a query (type 'exit' to quit): ";
string query;
getline(cin, query);
if (query == "exit") {
break;
}
auto results = search.search(query);
if (results.empty()) {
cout << "No results found.\n";
} else {
cout << "Top " << results.size() << " results:\n";
for (const auto& p : results) {
cout << "Document " << p.first << " (score: " << p.second << ")\n";
search.displayDocument(p.first);
}
}
}
return 0;
}
```
这是一个简单的命令行程序，主要包括以下几个部分：
1. 定义了一个文本信息的结构体 `Document`，包括文本编号、标题和内容。
2. 定义了一个 `TextSearch` 类，包含了加载文本库、创建倒排索引、检索文本和显示文本等功能。
3. 加载文本库时，从文件
中读取每个文本的编号、标题和内容，并存储到 `documents` 向量
中。
4. 创建倒排索引时，遍历每个文本的标题和内容，将单词转换为小写形式并去除停用词，然后更新倒排索引。
5. 检索文本时，将检索关键词转换为小写形式并去除停用词，然后计算 TF 和
IDF 值，计算文本的 TF-
IDF 值，最后计算得分并排序。返回前十个结果，并显示每个结果的得分和文本信息。
6. 显示文本时，根据文本编号从 `documents` 向量
中查找对应的文本，然后输出标题和内容。
这个程序还有很多可以改进的地方，比如支持动态装载和处理文本库、支持停用词的管理和维护等。但是，这个程序已经可以基本实现基于关键词的文本排序检索系统的功能。
1546
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
