文件查重算法的思路，对论文查重，文件比对-CSDN博客

本文链接：https://blog.csdn.net/zounianfa/article/details/147871766

一：常见的文件查重算法方案

文件查重，尤其是在处理文本文件时，可以采用多种算法来识别重复或相似的内容。文件查重同样存在难点，比如pdf清晰度，印章，表格，相似语句我爱你，我喜欢你，换行，分页等。除了余弦相似度算法，以下是一些适合用于文件查重的算法和技术：

1.Jaccard 相似度
Jaccard 相似度是衡量两个集合相似度的一种方法，定义为两个集合交集的大小与并集的大小之比。在文本查重中，可以将文档转换为词频向量，然后计算这些向量的交集和并集。

2.汉明距离
汉明距离用于测量两个等长字符串之间的差异，即对应位置上不同字符的个数。在文本查重中，可以用于比较两个文档的字符序列。

3.Levenshtein 距离（编辑距离）
Levenshtein 距离是衡量两个字符串之间差异的一种方式，定义为将一个字符串转换为另一个字符串所需的最少单字符编辑操作（插入、删除或替换）。这个距离可以用来评估两个文本的相似度。

4.SimHash（简单哈希）
SimHash 是一种局部敏感哈希算法，可以将文本转换为哈希值，使得相似的文本具有相似的哈希值。这种方法适用于快速筛选出可能相似的文档对，然后再使用更精确的方法进行比较。

5.MinHash
MinHash 是一种概率数据结构，用于估计两个集合的相似度。它通过计算集合中元素的最小哈希值来工作，可以快速估计两个文档的 Jaccard 相似度。

6.TF-IDF 加权
TF-IDF（词频-逆文档频率）是一种统计方法，用于评估一个词语对于一个文档集合中的一个文档的重要性。通过计算文档中词语的 TF-IDF 权重，可以生成一个权重向量，用于衡量文档的相似度。

7.BM25
BM25 是一种排名函数，用于信息检索和文本查重，它考虑了词频和文档频率，可以更准确地评估文档的相关性。

8.机器学习方法
可以使用机器学习算法，如支持向量机（SVM）、随机森林或神经网络，来训练一个模型，该模型能够根据文档的特征（如词频、TF-IDF 权重等）来预测文档是否重复。

9.深度学习方法
深度学习模型，如卷积神经网络（CNN）或循环神经网络（RNN），可以用于学习文档的高级特征表示，从而识别相似或重复的文档。

10.指纹算法
指纹算法（如 Rabin 指纹）通过生成文档的“指纹”来快速比较文档。这种方法适用于大规模数据集，因为它可以快速筛选出可能相似的文档对。

选择哪种算法取决于具体的应用场景、数据特性以及性能要求。在实际应用中，可能需要结合多种方法来达到最佳的查重效果。

二：使用余弦相似度，通过相似度阈值，进行管控

示例：余弦相似度计算

**句子X**：这个苹果很甜，那个有点酸
**句子Y**：这个苹果非常甜，那个不太新鲜

---

1. 分词与词典构建
- **分词结果**：
- 句子X：`[这个, 苹果, 很, 甜, 那个, 有点, 酸]`
- 句子Y：`[这个, 苹果, 非常, 甜, 那个, 不太, 新鲜]`

- **合并词典**（去重后）：
`[这个, 苹果, 很, 甜, 那个, 有点, 酸, 非常, 不太, 新鲜]`

#### 2. 词频向量化
| 词语 | 这个 | 苹果 | 很 | 甜 | 那个 | 有点 | 酸 | 非常 | 不太 | 新鲜 |
|--------|------|------|----|----|------|------|----|------|------|------|
| 句子X | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 |
| 句子Y | 1 | 1 | 0 | 1 | 1 | 0 | 0 | 1 | 1 | 1 |

- **向量表示**：
- 句子X：`[1, 1, 1, 1, 1, 1, 1, 0, 0, 0]`
- 句子Y：`[1, 1, 0, 1, 1, 0, 0, 1, 1, 1]`

3. 计算余弦相似度
- **点积（分子）**：
\(1×1 + 1×1 + 1×0 + 1×1 + 1×1 + 1×0 + 1×0 + 0×1 + 0×1 + 0×1 = 4\)

- **向量模长（分母）**：
- 句子X模长：\(\sqrt{1^2 + 1^2 + ... + 0^2} = \sqrt{6} \approx 2.45\)
- 句子Y模长：\(\sqrt{1^2 + 1^2 + ... + 1^2} = \sqrt{7} \approx 2.65\)

- **余弦值**：
\[
\cos(\theta) = \frac{4}{2.45 \times 2.65} \approx \frac{4}{6.49} \approx 0.62
\]

4. 结果解读
- **相似度0.62**：两句话在词频分布上中度相似，差异主要来自：
- 程度副词（"很" vs "非常"）
- 描述差异（"酸" vs "不太新鲜"）

---

对比原示例的改进点
1. **更直观的词典构建**：直接展示词语与向量的对应关系。
2. **简化计算过程**：避免复杂的编码转换（如原示例中的`dict1`映射）。
3. **突出语义差异**：通过程度词和反义词体现余弦相似度的局限性。使用预训练的词嵌入模型（如Word2Vec、GloVe、BERT等）将词语转换为高维向量。这些模型通过大量的文本数据训练，能够捕捉词语的语义信息，使得语义相似的词语在向量空间中接近。

示例如下：

import org.deeplearning4j.models.word2vec.Word2Vec;
import org.deeplearning4j.text.sentenceiterator.SentenceIterator;
import org.deeplearning4j.text.sentenceiterator.UimaSentenceIterator;
import org.deeplearning4j.text.tokenization.tokenizerfactory.TokenizerFactory;
import org.deeplearning4j.text.tokenization.tokenizerfactory.UimaTokenizerFactory;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.nd4j.linalg.factory.Nd4j;

import java.io.File;
import java.util.HashMap;
import java.util.Map;

public class Word2VecExample {

public static void main(String[] args) throws Exception {
// 1. 准备训练数据
File textFile = new File("path/to/your/textfile.txt");
SentenceIterator iter = UimaSentenceIterator.createWithPath(textFile.getAbsolutePath());
TokenizerFactory tokenizer = new UimaTokenizerFactory();

// 2. 训练Word2Vec模型
Word2Vec vec = new Word2Vec.Builder()
.minWordFrequency(1)
.iterations(1)
.layerSize(100)
.windowSize(5)
.iterate(iter)
.tokenizerFactory(tokenizer)
.build();
vec.fit();

// 3. 获取词向量
Map<String, INDArray> wordVectors = new HashMap<>();
for (String word : vec.getVocab().words()) {
wordVectors.put(word, vec.getWordVectorMatrix(word));
}

// 4. 计算余弦相似度
String word1 = "开心";
String word2 = "高兴";
double similarity = cosineSimilarity(wordVectors.get(word1), wordVectors.get(word2));
System.out.println("余弦相似度: " + similarity);
}

// 计算两个向量的余弦相似度
private static double cosineSimilarity(INDArray vec1, INDArray vec2) {
return vec1.dot(vec2) / (vec1.norm2() * vec2.norm2());
}
}