文章目录
1. 引言
在信息检索、分类、识别、翻译等领域中,两个最基本的指标是准确率(Precision)和召回率(Recall),其中准确率也叫查准率,召回率也叫查全率。
本篇博客介绍信息检索领域三个重要的评价指标:准确率(Precision)、召回率(Recall)和平均准确率均值(mAP)。
2. 基础知识
在介绍三个评价指标之前,先对四个基础定义做简要解释。
(1)定义
T
r
u
e
P
o
s
i
t
i
v
e
s
(
T
P
)
TruePositives(TP)
TruePositives(TP):检索到的相关样本数
F
a
l
s
e
P
o
s
i
t
i
v
e
s
(
F
P
)
FalsePositives(FP)
FalsePositives(FP):检索到的不相关样本数
F
a
l
s
e
N
e
g
a
t
i
v
e
s
(
F
N
)
:
FalseNegatives(FN):
FalseNegatives(FN):未检索到的相关样本数
T
r
u
e
N
e
g
a
t
i
v
e
s
(
T
N
)
:
TrueNegatives(TN):
TrueNegatives(TN):未检索到的不相关样本数
(2)图示
(3)举例说明
若一个待检测的物体为狗,我们将被正确识别的狗,即检测为狗实际也为狗,称为True positives。将被正确识别的猫,即检测为猫实际也为猫,称为True negatives。被错误识别为狗的猫称为 False positives,被错误识别为猫的狗称为 False negatives。
3. 准确率(Precision)
-
准确率的中文定义
准 确 率 ( P r e c i s i o n ) = 系 统 检 索 到 的 相 关 文 件 系 统 所 有 检 索 到 的 文 件 总 数 准确率(Precision) = \frac{ 系统检索到的相关文件} { 系统所有检索到的文件总数} 准确率(Precision)=系统所有检索到的文件总数系统检索到的相关文件 -
准确率的英文定义
P r e c i s i o n = T r u e P o s i t i v e s T r u e P o s i t i v s e + F a l s e P o s i t i v e s Precision = \frac{{TruePositives}}{{TruePositivse + FalsePositives}} Precision=TruePositivse+FalsePositivesTruePositives
4. 召回率(Recall)
-
召回率的中文定义
召 回 率 ( R e c a l l ) = 系 统 检 索 到 的 相 关 文 件 系 统 所 有 相 关 的 文 件 总 数 召回率(Recall) = \frac{ 系统检索到的相关文件} { 系统所有相关的文件总数} 召回率(Recall)=系统所有相关的文件总数系统检索到的相关文件 -
召回率的英文定义
R e c a l l = T r u e P o s t i v e s T r u e P o s i t i v e s + F a l s e N e g a t i v e s Recall = \frac{{TruePostives}}{{TruePositives + FalseNegatives}} Recall=TruePositives+FalseNegativesTruePostives -
准确率和召回率的关系
准确率和召回率是互相影响的,理想情况下是做到两者都高。但一般情况下,准确率高、召回率就低,召回率低、准确率高。
5. 平均准确率均值(mean Average Precision,mAP)
(1) mAP的定义
The mAP is the mean of the average precision, which widely used for evaluating the performance for retrieval tasks. Given
N
N
N query samples, the mAP is computed by:
m
A
P
=
1
N
∑
i
=
1
N
A
P
(
q
i
)
mAP = \frac{1}{N}\sum\limits_{i = 1}^N {AP({q_i})}
mAP=N1i=1∑NAP(qi)
where
q
i
{q_i}
qi represents a query.
A
P
(
⋅
)
AP( \cdot )
AP(⋅) is the average retrieved precision, which is defined as:
A
P
(
q
i
)
=
1
G
∑
r
=
1
R
P
q
i
(
r
)
δ
(
r
)
AP({q_i}) = \frac{1}{G}\sum\limits_{r = 1}^R {{P_{{q_i}}}(r)} \delta (r)
AP(qi)=G1r=1∑RPqi(r)δ(r)
where
G
G
G denotes the number of instances related to
i
i
i-th query
q
i
{q_i}
qi in top
R
R
R retrieved set, and
P
q
i
(
r
)
{P_{{q_i}}}(r)
Pqi(r) represents the precision of top
r
r
r retrieved instances. The value of indicator function
δ
(
r
)
\delta (r)
δ(r) is 1 if the query
q
i
{q_i}
qi is related to
r
r
r-th retrieval instances, 0 otherwise.