优化模型是一个比较大的话题。简单介绍一些平台上提供用于评估模型表现的指标数据,以及常用的优化操作。
平均检出率
模型训练完成后,可以在“训练页”查看模型各个版本的平均检出率。
您可以通过平均检出率,观察模型的表现效果。平均检出率反映了对各个标签识别的平均水平。
进一步点击“平均检出率”,可以查看具体每个标签的检出率、精度,可以有针对性查看到底哪些标签识别得更好、哪些标签识别有问题。只有当检出率和精度均较好时,模型的表现较好。
对于识别上稍微差一些的标签,会给出一些提示(如图中黄色感叹号)。
进一步地,可以点击“错误详情查看”,可视化地查看样本图中,哪些目标正确识别到了、哪些目标被漏识别了、哪些目标被错误地识别了,从而指导样本标注、样本准备等方面。
注意:
- 检出率仅代表模型对标注图片效果,如测试图片与标注图片相差较大时,可能会导致检测的效果并不好。
- 如果平均检出率低,线下测试的效果会较差。请先保证线上指标较好,再进行线下测试。
显示置信度
置信度,是在 “已测试” 样本图片上,显示其中识别到的目标标签、以及有多大程度可信度。
在“更多”中开启“显示置信度”,即可在图片上叠加显示置信度。
置信度代表可以相信预测结果的程度,取值范围为[0,1]。取值越接近1,说明结果越可信。
上图是一个检测pin针是否歪斜的例子,置信度为0.99。说明几乎可以相信:红框内是一个“歪斜”的物体。
当检测目标比较复杂时,不用过度追求置信度达到很高的数值。置信度需要与检测阈值结合使用,以便筛选出应该检出、过滤掉不应该检出的目标。
在SDK中调用预测函数时,可以配置检测阈值。详见 SDK开发文档(C++为例)