利用投标相似度辅助围串标判定

 摘要
围标（bid rigging）是一种非法的竞争行为，对市场公平性和公共资源分配造成严重影响。本文探讨了如何利用投标相似度来辅助判定围标行为。通过详细分析投标文件的内容相似性，选取适当的指标进行相似度计算，并结合实际案例验证其有效性。

 引言
围标行为通常通过提交高度相似的投标文件实现，传统的人工审查难以有效识别这些行为。利用人工智能和自然语言处理（NLP）技术，可以对投标文件进行深度分析，识别出潜在的围标行为。本研究重点在于通过相似度分析来辅助围标判定。

 相似度计算的指标
在分析投标文件的相似度时，需要选取多个关键指标进行衡量。以下是几个主要的相似度衡量指标及其具体实现方法：

1. **词频-逆文档频率（TF-IDF）**：
   - **原理**：TF-IDF是一种统计方法，用于评估一个词语在一个文档中的重要程度。TF表示词频，即一个词在文档中出现的次数。IDF表示逆文档频率，用于衡量词语的普遍性。
   - **实现步骤**：
     1. 对每份投标文件进行分词处理，去除停用词和标点符号。
     2. 计算每个词在文档中的TF值。
     3. 计算词语在整个文档集中的IDF值。
     4. 乘积得到每个词的TF-IDF值，生成文档的TF-IDF向量。

2. **余弦相似度（Cosine Similarity）**：
   - **原理**：余弦相似度用于计算两个向量之间的相似度，通过计算向量夹角的余弦值来判断相似程度。其值在-1到1之间，值越接近1表示相似度越高。
   - **实现步骤**：
     1. 将每份投标文件的TF-IDF值向量化。
     2. 计算两个向量的点积。
     3. 计算两个向量的模。
     4. 计算点积与模的比值，得到余弦相似度。

3. **Jaccard相似度（Jaccard Similarity）**：
   - **原理**：Jaccard相似度用于衡量两个集合的相似度，是两个集合交集与并集的比值。其值在0到1之间，值越接近1表示相似度越高。
   - **实现步骤**：
     1. 对每份投标文件进行分词处理，生成词集。