RCNN、Fast RCNN、Faster RCNN、SPPNet对比

RCNN、Fast RCNN、Faster RCNN、SPPNet对比
皆是two-stage ，基于region proposal 的RCNN系列目标检测
时间轴：RCNN (2014) -> SPPNet (2015) -> Fast RCNN (2015) -> Faster RCNN (2016)

1.RCNN regions with CNN CVPR 2014 Ross Girshick
将CNN引入目标检测的开山之作

（1）输入图像（2）根据输入图像简单颜色纹理等特征通过selective search（选择性搜索）搜索方法，确定1000~2000个候选框
（3）将候选框抠图输入CNN提取4096维度特征（其中每个抠图都要经过CNN提取特征存在重复提取）（4）将特征输入SVM训练分类器
（5）非极大值抑制NMS筛除不合格框（6）回归bbox

2.Fast RCNN ICCV 2015 Ross Girshick

（1）通过CNN获得浅层特征（2）浅层特征输入region proposal使用的selective search算法提取1k~2k候选框
（3）浅层特征通过RoI pooling将1k~2k特征尺寸归一化（4）同纬度特征输入全连接
（5）两个分支分别为classification head和bbox reg head
注：RoI 感兴趣区域 region of interest
Fast RCNN end to end训练
RCNN与Fast RCNN
（1）selective search特征从浅层CNN抽取获得候选框，RCNN获得候选框图像，Fast RCNN获得候选框特征，所以Fast RCNN只用抽取一次整图特征，不需要1k~2k次特征抽取，大大提高速度
（2）提出RoI pooling归一化特征：特征划分M*N网络，每个网格做maxpooling
（3）multi-task实现classification和regression，取代RCNN先分类后回归，RCNN需要保持SVM后特征占据空间，Fast RCNN直接multi-task节省空间

3.Faster RCNN NIPS 2016 Ross Girshick

（1）输入图像（2）浅层特征提取CNN
（3）浅层特征输入region proposal使用的提出的RPN网络层提取1k~2k候选框（4）RoI pooling
（5）CNN（6）multi-task classification&regression
候选区域生成，特征提取，分类，位置精修

RPN（Region proposal network）提取边缘网络
Fast RCNN与Faster RCNN
（1）在Fast RCNN基础上优化selective search候选框提取，提出RPN网络层整合整合检测流程，实现end to end训练
RCNN、Fast RCNN与Faster RCNN比较

RCNN分阶段训练
SPPNet 分阶段训练
Fast RCNN end to end
Faster RCNN end to end
基于region proposal的RCNN系列主要步骤：1.浅层特征（传统或者CNN边缘信息）2.通过SS/RPN提出候选框3.根据候选框图/浅层特征CNN继续深层特征提取训练分类回归

4.SPPNet ECCV 2015 何凯明
SPP：Spatial Pyramid Pooling 空间金字塔池化层

（1）输入图像（2）SS region proposal 1k~2k 候选框位置记录（3）提取整图CNN特征，候选框区域特征通过特征映射，将候选框记录的坐标映射到对应特征层并截图相应特征
（4）SPP layer 候选框特征归一化（5）fc （6）SVM （7）regression
由于分类相比RCNN未改进，mAP依然和RCNN差不多，速度提高100倍
RCNN与SPPNet比较
（1）相比RCNN，将每次候选框图片特征提取整合成一张图一次CNN特征提取，引入SPP归一化特征图