【目标检测】R-CNN

由于以前就看过这篇论文，再加上参考过很多大神的解读，所以提前还一点以前欠下账。

大家有兴趣可以直接去他的网址看原汁原味的论文：

rbg大神的主页：http://www.rossgirshick.info/

论文地址：https://dl.dropboxusercontent.com/s/293tu0hh9ww08co/r-cnn-cvpr.pdf?dl=0

经典博文解读：***http://blog.csdn.net/wopawn/article/details/52133338***

论文经典之处：

1、用CNN网路提取图像特征，从经验驱动的人造特征HOG、SIFT导数据驱动的表示学习范围，提高特征对样本的表示能力。

2、采用大样本下有监督预训练+小样本微调的方式解决小样本难以训练甚至过拟合等问题。

主要解决的两个问题：

问题一：速度

        经典的目标检测算法使用滑动窗法依次判断所有可能的区域。本文则预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行判断。

问题二：训练集

        经典的目标检测算法在区域中提取人工设定的特征（Haar，HOG）。本文则是通过深度神经网络提取特征。可供使用的有两个数据库： 
一个较大的识别库（ImageNet ILSVC 2012）：标定每张图片中物体的类别。一千万图像，1000类。 
一个较小的检测库（PASCAL VOC 2007）：标定每张图片中，物体的类别和位置。一万图像，20类。 

本文使用识别库进行预训练，而后用检测库调优参数。最后在检测库上评测。

算法流程：

RCNN算法分为4个步骤 ：
- 一张图像生成1K~2K个候选区域 
- 对每个候选区域，使用深度网络提取特征 
- 特征送入每一类的SVM 分类器，判别是否属于该类 
- 使用回归器精细修正候选框位置 

候选区域生成：

对于Selective Search方法想更深理解的可以参考这两篇博文：http://blog.csdn.net/guoyunfei20/article/details/78723646

http://blog.csdn.net/qq_28132591/article/details/73549560

使用了Selective Search方法从一张图像生成约2000个候选区域。基本思路如下： 
- 用过分割的手段，将图像分割成小区域 
- 查看现有小区域，合并可能性最高的两个区域。重复直到整张图像合并成一个区域位置 
- 输出所有曾经存在过的区域，所谓候选区域

候选区域生成和后续步骤相对独立，实际可以使用任意算法进行。

合并规则

优先合并以下四种区域： 
- 颜色（颜色直方图）相近的 
- 纹理（梯度直方图）相近的 
- 合并后总面积小的 
- 合并后，总面积在其BBOX中所占比例大的

第三点、保证合并操作的尺度较为均匀，避免一个大区域陆续“吃掉”其他小区域。

例：设有区域a-b-c-d-e-f-g-h。较好的合并方式是：ab-cd-ef-gh -> abcd-efgh -> abcdefgh。 
不好的合并方法是：ab-c-d-e-f-g-h ->abcd-e-f-g-h ->abcdef-gh -> abcdefgh。

第四点、保证合并后形状规则。

例：左图适于合并，右图不适于合并。 

上述四条规则只涉及区域的颜色直方图、纹理直方图、面积和位置。合并后的区域特征可以直接由子区域特征计算而来，速度较快。

多样化与后处理

为尽可能不遗漏候选区域，上述操作在多个颜色空间中同时进行（RGB,HSV,Lab等）。在一个颜色空间中，使用上述四条规则的不同组合进行合并。所有颜色空间与所有规则的全部结果，在去除重复后，都作为候选区域输出。

作者提供了Selective Search的源码，内含较多.p文件和.mex文件，难以细查具体实现。

特征提取：

预处理：

使用深度网络提取特征之前，首先把候选区域归一化成同一尺寸227×227。 
此处有一些细节可做变化：外扩的尺寸大小，形变时是否保持原比例，对框外区域直接截取还是补灰。会轻微影响性能。

预训练：

网络结构 

基本借鉴Hinton 2012年在Image Net上的分类网络 ，略作简化 。 

网络最终提取的特征维度是4096维，之后送入一个4096->1000的全连接(fc)层进行分类。 

学习率：0.01

训练数据 
使用ILVCR 2012的全部数据进行训练，输入一张图片，输出1000维的类别标号。

调优训练

网络结构 
同样使用上述网络，最后一层换成4096->21的全连接网络。 
学习率0.001，每一个batch包含32个正样本（属于20类）和96个背景。

训练数据 
使用PASCAL VOC 2007的训练集，输入一张图片，输出21维的类别标号，表示20类+背景。 
考察一个候选框和当前图像上所有标定框重叠面积最大的一个。如果重叠比例大于0.5，则认为此候选框为此标定的类别；否则认为此候选框为背景。

类别判断：

1. 输入一张多目标图像，采用selective search算法提取约2000个建议框；

2. 先在每个建议框周围加上16个像素值为建议框像素平均值的边框，再直接变形为227×227的大小；

3. 先将所有建议框像素减去该建议框像素平均值后（预处理操作），再依次将每个227×227的建议框输入AlexNet CNN网络获取4096维的特征（比以前的人工经验特征低两个数量级），2000个建议框的CNN特征组合成2000×4096维矩阵；

4. 将2000×4096维特征与20个SVM组成的权值矩阵4096×20相乘（20种分类，SVM是二分类器，则有20个SVM），获得2000×20维矩阵表示每个建议框是某个物体类别的得分；

位置精修：

        目标检测问题的衡量标准是重叠面积：许多看似准确的检测结果，往往因为候选框不够准确，重叠面积很小。故需要一个位置精修步骤。 

    1、对上一步得到的2000×20维矩阵中每一列即每一类进行非极大值抑制剔除重叠建议框，得到该列即该类中得分最高的一些建议框；

    2、分别用20个回归器对上述20个类别中剩余的建议框进行回归操作，最终得到每个类别的修正后的得分最高的bounding box。

结果：

论文发表的2014年，DPM已经进入瓶颈期，即使使用复杂的特征和结构得到的提升也十分有限。本文将深度学习引入检测领域，一举将PASCAL VOC上的检测率从35.1%提升到53.7%。 
本文的前两个步骤（候选区域提取+特征提取）与待检测类别无关，可以在不同类之间共用。这两步在GPU上约需13秒。 
同时检测多类时，需要倍增的只有后两步骤（判别+精修），都是简单的线性运算，速度很快。这两步对于100K类别只需10秒。

还存在的问题：

1. 很明显，最大的缺点是对一张图片的处理速度慢，这是由于一张图片中由selective search算法得出的约2k个建议框都需要经过变形处理后由CNN前向网络计算一次特征，这其中涵盖了对一张图片中多个重复区域的重复计算，很累赘；

2. 知乎上有人说R-CNN网络需要两次CNN前向计算，第一次得到建议框特征给SVM分类识别，第二次对非极大值抑制后的建议框再次进行CNN前向计算获得Pool5特征，以便对建议框进行回归得到更精确的bounding-box，这里文中并没有说是怎么做的，博主认为也可能在计算2k个建议框的CNN特征时，在硬盘上保留了2k个建议框的Pool5特征，虽然这样做只需要一次CNN前向网络运算，但是耗费大量磁盘空间；

3. 训练时间长，虽然文中没有明确指出具体训练时间，但由于采用RoI-centric sampling【从所有图片的所有建议框中均匀取样】进行训练，那么每次都需要计算不同图片中不同建议框CNN特征，无法共享同一张图的CNN特征，训练速度很慢；

4. 整个测试过程很复杂，要先提取建议框，之后提取每个建议框CNN特征，再用SVM分类，做非极大值抑制，最后做bounding-box回归才能得到图片中物体的种类以及位置信息；同样训练过程也很复杂，ILSVRC 2012上预训练CNN，PASCAL VOC 2007上微调CNN，做20类SVM分类器的训练和20类bounding-box回归器的训练；这些不连续过程必然涉及到特征存储、浪费磁盘空间等问题。