CUHK03和Market1501计算CMC和mAP的方法

Cumulative Matching Characteristics (CMC) curves 是目前行人重识别领域最流行的性能评估方法。考虑一个简单的 single-gallery-shot 情形,每个数据集中的ID(gallery ID)只有一个实例. 对于每一次的识别(query), 算法将根据 要查询的图像(query) 到所有gallery samples的距离从小到大排序,CMC top-k accuracy 计算如下:

                                Acc_k = 1, if top-k ranked gallery samples contain query identity

                                Acc_k = 0, otherwise

这是一个 shifted step function, 最终的CMC 曲线(curve) 通过对所有queries的shifted step functions取平均得到。

尽管在 single-gallery-shot 情形下,CMC 有很明确的定义,但是在 multi-gallery-shot 情形下,它的定义并不明确,因为每个gallery identity 可能存在多个instances. 例如, CUHK-03 和 Market-1501 数据集计算 CMC curves 和 CMC top-k accuracy 的方法有很大的不同:

CUHK03: 这个数据集中,query 和 gallery 集来自不同的摄像头视角。对于每个query,  随机地从每个 gallery identity 中采样一个instance,  然后以 single-gallery-shot 的方式计算 CMC curve. 随机采样重复N次,最终输出CMC curve.

Market-1501: Query 和 gallery 集可能来自相同的摄像头视角,但是对于每个query identity, 他/她的来自同一个摄像头的 gallery samples 会被排除掉。对于每个 gallery identity,他们不会只随机采样一个instance. 这意味着在计算CMC时, query 将总是匹配 gallery 中“最简单”的正样本,而不关注其他更难识别的正样本。此数据集,bounding_box_test文件夹是gallery 样本,bounding_box_train文件夹是train 样本,query文件夹是query 样本

由上面可以看出,在 multi-gallery-shot 情形下,CMC评估具有缺陷。因此,也使用 mAP(mean average precsion)作为评估指标。mAP可认为是PR曲线下的面积,即平均的查准率。

mAP介绍:

mAP的全称是mean average precision,average precision是希望正确的结果优先出现,mean average precision则是对于AP的延伸,取多次查询的AP的均值来代表算法的准确度。下面来张图:


这只是做了两次查询取平均的例子,实际上还可以更多

  • 6
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值