VarifocalNet-读论文随笔

《VarifocalNet: AnIoU-aware Dense Object Detector》

原文链接：https://arxiv.org/pdf/2008.13367.pdf

代码链接：https://github.com/hyz-xmaster/VarifocalNet

 

一、针对什么问题？

1、问题：

VarifocalNet和Generalized Focal Loss工作比较相似。针对的问题都可以表示为以下两个部分，但各有所长：

1）

VFN:分类分支或者联合分类分支和IoU-based localization分支作为检测候选框的排序依据不够可靠。

GFL:分类分支和定位质量估计（IOU/centerness）分支训练测试的不一致性。

2）

GFL/VFN:bounding boxes表示不够灵活，不够准确有效。

 

二、 验证性能边界

1、基础baseline

a）FCOS+ATSS, map=38.5

b)   FCOS+ATSS+centerness，map=39.2

2、用真实gt_ctr替代预测centerness分支值。

 FCOS+ATSS+gt_ctr,  map = 41.1。

3、用真实gt_iou替代预测centerness分支值。

FCOS+ATSS+gt_ctr_iou, map = 43.5。

4、用真实gt_bbox替代预测bbox回归分支值。

a）FCOS+ATSS+gt_bbox, map = 56.1。

b）FCOS+ATSS+gt_bbox+centerness, map = 56.3。

5、用真实gt_cls替代预测分类分支值。

a)   FCOS+ATSS+gt_cls, map = 43.1。

b)   FCOS+ATSS+gt_cls+centerness, map = 58.1。

6、用真实gt_iou替代分类分支

a)   FCOS+ATSS+gt_cls_iou, map = 74.6。

b)   FCOS+ATSS+gt_cls_iou+centerness, map = 67.4。

 

三、 提出什么方法？

1、

GFL:分类分支和定位质量估计（IOU/centerness）分支训练测试的不一致性。

QFL:提出一个联合表示。

a classification vector where its value at the ground-truth category index refers to its corresponding localization quality 

采用质量预测分数替代对应分类分数，

 

 

VFN:分类分支或者联合分类分支和IoU-based localization分支作为检测候选框的排序依据不够可靠。

IACS:提出一个联合表示。

 

文中认为VFN与GFL的不同是：

It weights positive and negative examples asymmetrically， whereas the GFL deals with themequally

VFN为非对称的加权操作，而GFL和Focal loss是对称的。

 

2、

GFL：bounding boxes表示不够灵活：

GFL:并不是采用狄拉克/高斯分布作为先验，而是设计更有普适性的DFL

VFN: bounding boxes表示不够灵活：

VFN：提出bbox refinement，星型bbox特征提取和refine操作

 

四、有哪些思考？

关于星型bbox特征提取，想到旷视提出的BorderDet，这种边界特征提取方法好呢，还是VFN中提到的星型bbox特征提取更突出呢。

 

五、代码运行情况

在VisDrone上测试。

配置环境：

1080Ti，vfnet_r50_fpn_mdconv_c3-c5_mstrain_2x_coco.py

测试结果：

'MAP@0.5',  0.305

'MAP@0.5:0.95',   0.181