CUHK03和Market1501计算CMC和mAP的方法

Cumulative Matching Characteristics (CMC) curves 是目前行人重识别领域最流行的性能评估方法。考虑一个简单的 single-gallery-shot 情形,每个数据集中的ID(gallery ID)只有一个实例. 对于每一次的识别(query), 算法将根据 要查询的图像(query) 到所有gallery samples的距离从小到大排序,CMC top-k accuracy 计算如下:

                                Acc_k = 1, if top-k ranked gallery samples contain query identity

                                Acc_k = 0, otherwise

这是一个 shifted step function, 最终的CMC 曲线(curve) 通过对所有queries的shifted step functions取平均得到。

尽管在 single-gallery-shot 情形下,CMC 有很明确的定义,但是在 multi-gallery-shot 情形下,它的定义并不明确,因为每个gallery identity 可能存在多个instances. 例如, CUHK-03 和 Market-1501 数据集计算 CMC curves 和 CMC top-k accuracy 的方法有很大的不同:

CUHK03: 这个数据集中,query 和 gallery 集来自不同的摄像头视角。对于每个query,  随机地从每个 gallery identity 中采样一个instance,  然后以 single-gallery-shot 的方式计算 CMC curve. 随机采样重复N次,最终输出CMC curve.

Market-1501: Query 和 gallery 集可能来自相同的摄像头视角,但是对于每个query identity, 他/她的来自同一个摄像头的 gallery samples 会被排除掉。对于每个 gallery identity,他们不会只随机采样一个instance. 这意味着在计算CMC时, query 将总是匹配 gallery 中“最简单”的正样本,而不关注其他更难识别的正样本。此数据集,bounding_box_test文件夹是gallery 样本,bounding_box_train文件夹是train 样本,query文件夹是query 样本

由上面可以看出,在 multi-gallery-shot 情形下,CMC评估具有缺陷。因此,也使用 mAP(mean average precsion)作为评估指标。mAP可认为是PR曲线下的面积,即平均的查准率。

mAP介绍:

mAP的全称是mean average precision,average precision是希望正确的结果优先出现,mean average precision则是对于AP的延伸,取多次查询的AP的均值来代表算法的准确度。下面来张图:


这只是做了两次查询取平均的例子,实际上还可以更多

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭