论文阅读4-综述文章：深度卷积神经网络在计算机视觉中的应用研究综述

目标检测

传统算法

传统算法Cascade + HOG/DPM + Haar/SVM大概意思就是使用一个固定大小的滑动窗口去截取固定窗口大小的图像，分别再进行特征匹配和分类。

深度学习算法

图像分类

传统是传统图像分类算法

主要使用ＳＩＦＴ，ＬＢＰ
等算法来手动提取特征，再将提取的特征用于
训练支持向量机（Ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ，ＳＶＭ）等 分 类 器 进 行 分 类
取得的最好的错误率是28.2%

Ｒ-ＣＮＮ 模型

AlexNet 16.4%错误率
创新点：该模型采用relu来取代传统的sigmoid 和tanh函数作为神经元的非线性激活函数,并提出了dropout方法来减轻过拟合问题.

Ｃlarify提出使用反卷积网络对每个卷积层进行可视化，以次来分析每一层学习到的特征，据此改进网络，达到11.7%错误率

GoogleNet

创新点：Inception模块
8.2%

SPP-Net

创新点：空间金字塔池化

之前大部分卷积神经网络模型都要求输入图像大小固定， 因此需要对原始图像进行剪切， 这样将导致原始图像信息的丢失； 或者需要对图像的大小和长宽比进行调整， 这样会使图像产生扭曲变形。
因此， 空间金字塔池化的作用是对任意维数的输入均产生固定维数的输出， 从而使网络可以接受任意大小的图像作为输入.

PRelu-Nets

4.94%
创新点：经网络模型有两点改进， 一是推广了传统的修正线性单元（Ｒ ｅ Ｌ Ｕ） ， 提出参数化
修正线性单元（Ｐ Ｒ ｅ Ｌ Ｕ） 。该激活函数可以适应性地学习修正单元的参数， 并且能够在额外计算成本可以忽略不计的情况下提高识别的准确率。同时， 该模型通过对修正线性单元（Ｒ ｅ Ｌ Ｕ／Ｐ Ｒ ｅ Ｌ Ｕ） 的建模，推导出了一套具有鲁棒性的初始化方法， 能够使得层数较多的模型（ 比如含有３ 0个带权层的模型） 收敛.

4.82%为 Batch normalization ， 将该训练方法运用于GoogleNet
提出的Spatioal transformer 旨在通过提高卷积神经网络对于图像空间不变性的学习能力， 来加强其图像分类的准确率.

ResNet

3.57%残差网络

目标检测

提片中物体定位 + 分类

R-CNN

使用selectiva search 这一非深度学习算法来提出待分类的候选区域， 然后将每个候选区域输入到卷积神经网络中提取特征， 接着将这些特征输入到线性支持向量机中进行分类。
为了使得定位更加准确，Ｒ － Ｃ ＮＮ中还训练了一个线性回归模型来对候选区域坐标进行修正， 该过程被称为Bounding Box Regession。
并且在大数据集上进行训练，小数据集上进行微调。

缺点：在 Ｒ － Ｃ ＮＮ模型中， 对于每张图像大约产生２０ ０ ０个候选区域， 而对于每张图像， 它的所有候选区域都要分别进行特征提取， 这就使得特征提取所消耗的时间成为总的测试时间的瓶颈。微软亚洲研究院的研究团队将 Ｓ Ｐ Ｐ －Ｎ ｅ ｔ运用于物体检测中， 并改进了 Ｒ － Ｃ ＮＮ 的这一缺陷。Ｓ Ｐ Ｐ －Ｎ ｅ ｔ针对用 Ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｖ ｅ ｓ ｅ ａ ｒ ｃ ｈ算法产生的候选区域， 将这些区域的坐标投射到最高层卷积层所输出的特征映射的对应位置上，然后把每个候选区域所对应的特征输入到空间金字塔池化层， 得到一个固定长度的特征表示。接下来的步骤与Ｒ － Ｃ ＮＮ相似， 都是将这些特征表示输入到全连接层、 将全连接层输出的特征输入到线性支持向量机进行分类以及使用Ｂ ｏ ｕ ｎ ｄ ｉ ｎ ｇ 　ｂ ｏ ｘ 　 ｒ ｅ ｇ ｒ ｅ ｓ ｓ ｉ ｏ ｎ修正候选区域坐标。在Ｐ Ａ Ｓ Ｃ Ａ Ｌ 　 Ｖ Ｏ Ｃ上， 该网络取得了与Ｒ － Ｃ ＮＮ相近的准确率， 但是由于时间消耗大的卷积操作对于每张输入图像只进行了一次， 使得总的测试所用时间大大减少。

Fast R-CNN

与Ｒ － Ｃ ＮＮ中的卷积神经网络相比，Ｆ ａ ｓ ｔ 　 Ｒ － Ｃ ＮＮ对最后一个池化层进行了改进， 提出了Ｒ ｅ ｇ ｉ ｏ ｎ 　 ｏ ｆ 　 ｉ ｎ ｔ ｅ ｒ ｅ ｓ ｔ（Ｒ ｏ Ｉ）ｐ ｏ ｏ ｌ ｉ ｎ ｇ层。这个层的作用与Ｓ Ｐ Ｐ －Ｎ ｅ ｔ用于物体检测网络中的空间金字塔池
化层相似， 作用都是对于任意大小的输入， 输出固定维数的特征向量， 只是 Ｒ ｏ Ｉ 　 ｐ ｏ ｏ ｌ ｉ ｎ ｇ层中只进行了单层次的空间块划分。这一改进使得Ｆ ａ ｓ ｔ 　 Ｒ － Ｃ ＮＮ与Ｓ Ｐ Ｐ －Ｎ ｅ ｔ一样， 可以将整张输入图像以及由Ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｖ ｅｓ ｅ ａ ｒ ｃ ｈ算法产生的候选区域坐标信息一起输入卷积神经网络中， 在最后一层卷积层输出的特征映射上对每个候选区域所对应的输出特征进行Ｒ ｏ Ｉ 　 ｐ ｏ ｏ ｌ ｉ ｎ ｇ， 从而不再需要对每个候选区域都单独进行一次卷积计算操作。除此之外，Ｆ ａ ｓ ｔ 　 Ｒ － Ｃ ＮＮ将卷积神经网络的最后一个ｓ ｏ ｆ ｔ ｍ ａ ｘ分类层改为两个并列的全连接层， 其中一层仍为ｓ ｏ ｆ ｔ ｍ ａ ｘ分类层， 另一层为Ｂ ｏ ｕ ｎ ｄ ｉ ｎ ｇ 　ｂ ｏ ｘ 　 ｒ ｅ ｇ ｒ ｅ ｓ ｓ ｏ ｒ， 用于修正候选区域的坐标信息。在训练过程中，Ｆ ａ ｓ ｔ 　 Ｒ － Ｃ ＮＮ设计了一个多任务损失函数， 来同时训练用于分类和修正候选区域坐标信息的两个全连接层

DeepID-Net

改进了模型预训练方式， 提出了Ｂ ｏ ｕ ｎ ｄ ｉ ｎ ｇ 　ｂ ｏ ｘ 　 ｒ ｅ ｊ ｅ ｃ ｔ ｉ ｏ ｎ，Ｃ ｏ ｎ ｔ ｅ ｘ ｔ ｕ ａ ｌ 　 ｍ ｏ ｄ ｅ ｌ ｉ ｎ ｇ等新的网络训练步骤
设计了新的池化层， 叫作Ｄ ｅ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ 　 ｃ ｏ ｎ ｓ ｔ ｒ ａ ｉ ｎ ｅ ｄ 　 ｐ ｏ ｏ ｌ ｉ ｎ ｇ（Ｄ ｅ ｆ － ｐ ｏ ｏ ｌ ｉ ｎ ｇ） 层。这一池化层可以实现对图像局部信息的学习， 并使得模型能够更好地适应于输入图像中某些部件位置发生偏移的情况

Faster R-CNN

提出了候选区域网络，不再使selective search

Mask R-CNN
Detectron
YOLO
SSD

图像分割：
FCN
DeepLab

参考资料：
目标检测全概括网址
目标检测实现Papers with Code(Browse state-of-the-art)—这个里面包含很多深度估计和姿势估计的论文代码，看看
目标检测的github学习路径图-已经download