信息检索的评价指标

1. 引言

在信息检索、分类、识别、翻译等领域中，两个最基本的指标是准确率(Precision)和召回率(Recall)，其中准确率也叫查准率，召回率也叫查全率。

本篇博客介绍信息检索领域三个重要的评价指标：准确率（Precision）、召回率（Recall）和平均准确率均值（mAP）。

2. 基础知识

在介绍三个评价指标之前，先对四个基础定义做简要解释。

（1）定义

$TruePositives（TP）$：检索到的相关样本数
$FalsePositives（FP）$：检索到的不相关样本数
$FalseNegatives（FN）：$未检索到的相关样本数
$TrueNegatives（TN）：$未检索到的不相关样本数

（2）图示

（3）举例说明

若一个待检测的物体为狗，我们将被正确识别的狗，即检测为狗实际也为狗，称为True positives。将被正确识别的猫，即检测为猫实际也为猫，称为True negatives。被错误识别为狗的猫称为 False positives，被错误识别为猫的狗称为 False negatives。

3. 准确率（Precision）

1. 准确率的中文定义
   $$准确率(Precision)=\frac{系统检索到的相关文件}{系统所有检索到的文件总数}$$

2. 准确率的英文定义
   $$Precision=\frac{TruePositives}{TruePositivse+FalsePositives}$$

4. 召回率（Recall）

1. 召回率的中文定义
   $$召回率(Recall)=\frac{系统检索到的相关文件}{系统所有相关的文件总数}$$

2. 召回率的英文定义
   $$Recall=\frac{TruePostives}{TruePositives+FalseNegatives}$$

3. 准确率和召回率的关系
   准确率和召回率是互相影响的，理想情况下是做到两者都高。但一般情况下，准确率高、召回率就低，召回率低、准确率高。

5. 平均准确率均值（mean Average Precision，mAP）

（1） mAP的定义

The mAP is the mean of the average precision, which widely used for evaluating the performance for retrieval tasks. Given $N$ query samples, the mAP is computed by:
$$mAP=\frac{1}{N}\sum _{i=1}^{N}AP(q_i)$$
where $q_i$ represents a query. $AP(\cdot )$ is the average retrieved precision, which is defined as:
$$AP(q_i)=\frac{1}{G}\sum _{r=1}^R{P}_{q_i}(r)\delta (r)$$
where $G$ denotes the number of instances related to $i$-th query $q_i$ in top $R$ retrieved set, and $P_{q_i}(r)$ represents the precision of top $r$ retrieved instances. The value of indicator function $\delta (r)$ is 1 if the query $q_i$ is related to $r$-th retrieval instances, 0 otherwise.

（2）图解mAP的计算公式

References

1. 推荐系统评测指标
2. 平均精度均值