评价指标
真实标签(列)/ 预测标签(行) | 正样本 | 负样本 |
正样本 | TP | FN |
负样本 | FP | TN |
PR曲线,AP和mAP
(分母为预测为正样本的样本总数)
(分母为标签为正样本的样本总数)
Precision作为纵轴,Recall作为横轴画PR图,PR曲线与坐标轴之间的面积即Average Precision (AP),多个PR曲线下的面积的平均值即mAP。PR曲线主要聚焦于正样本分析,适合正样本少的情况,一般来说,优于ROC曲线。
ROC曲线,AUC
(分母为标签为正样本的样本总数)
(分母为标签为负样本的样本总数)
以TPrate为纵轴,FPrate为横轴画ROC图,ROC曲线与横轴面积即AUC。ROC曲线适用于类别不均衡的样本集,在类别改变时曲线也不发生大的变动,用于评估整体分类器的性能,但是对于评估结果过于乐观。
混淆矩阵
横轴是模型预测的类别数量统计,纵轴是数据真实标签的数量统计。对角线,表示模型预测和数据标签一致的数目,所以对角线之和除以测试集总数就是准确率。
准确率