计算机视觉（二）Fast-RCNN

受SPP-Net(spatial pyramid pooling空间金字塔池化算法)启发，继2014年的R-CNN之后，Ross Girshick在2015年发表Fast R-CNN（Girshick, Ross. “Fast r-cnn.” Proceedings of the IEEE International Conference on Computer Vision. 2015），源码见Github。它的构思精巧，流程更为紧凑，大幅提高目标检测速度。在同样的最大规模网络上，Fast R-CNN和R-CNN相比，训练时间从84小时减少为9.5小时，推理时间从47秒减少为0.32秒。在PASCAL VOC 2007上的准确率约66%。

一、R-CNN

简单来说，RCNN使用以下四步实现目标检测：

1. 在图像中确定约1000-2000个候选框
2. 对于每个候选框内图像块，使用深度网络提取特征
3. 对候选框中提取出的特征，使用分类器判别是否属于一个特定类
4. 对于属于某一特征的候选框，用回归器进一步调整其位置

二、Fast R-CNN的改进

问题一：推理速度慢

RCNN一张图像内候选框存在大量的重叠部分，提取特征冗余严重。
本文将整张图像归一化后直接送入深度网络。在邻接时，才加入候选框信息，在末尾的少数几层处理每个候选框。

 如上图，3x224×224的图像直接输入，前五层是基础的conv+relu+pooling形式，在第五层pooling换为roi_pool，并输入P个候选区域。前向传播的roi_pool层将每个候选区域均匀分成M×N块，对每块进行max pooling。将特征图上大小不一的候选区域转变为大小统一的数据，送入下一层，如下图。

 问题二：训练时速度慢

原因同上。在训练时，本文先将一张图像送入网络，紧接着送入从这幅图像上提取出的候选区域。这些候选区域的前几层特征不需要再重复计算。

在调优训练时，每一个mini-batch中首先加入N张完整图片，而后加入从N张图片中选取的R个候选框。这R个候选框可以复用N张图片前5层的网络特征。N张完整图片以50%概率水平翻转。R个候选框的构成方式如下：

类别	比例	规则
前景	0.25	与某个真值重叠在[0.5,1]的候选框
背景	0.75	与真值重叠的最大值在[0.1,0.5)的候选框

问题三：训练所需空间大

R-CNN中独立的分类器和回归器需要大量特征作为训练样本。本文把类别判断和位置精调统一用深度网络实现，不再需要额外存储。

cls_score层用于分类，输出K+1维数组p，表示属于K类和背景的概率。
bbox_prdict层用于调整候选区域位置，输出4*K维数组t，表示分别属于K类时，应该平移缩放的参数。 

三、算法总结

优点：

• 解决了R-CNN和SPP-Net的多stage训练的方式，利用多任务的方式去训练整个网络
• 使用softmax去代替SVM进行多分类的预测，从而实现了端到端的训练
• 实现了卷积网络的权重共享，使用RoI pooling来保持多尺度的输入
• 实验发现数据集增加可以提高mAP，SVD可以对网络进行加速
• 在VOC2012的mAP提升到了68.4%，而R-CNN为62.4%

缺点：

• region proposal的提取还是通过selective search，并且只能在CPU中运行这个算法，所以这个阶段浪费了大量时间。

参考

【目标检测】Fast RCNN算法详解 https://blog.csdn.net/shenxiaolu1984/article/details/51036677

【AI】目标检测第二话：Fast R-CNN和Faster R-CNN https://zhuanlan.zhihu.com/p/55495520