FCN论文阅读笔记

FCN论文阅读笔记

摘要（Abstract）

主要成就：端到端、像素到像素训练方式下的卷积神经网络超过了所有现有语义分割方向最先进的技术
核心思想：搭建了一个全卷积网络，输入任意尺寸的图像，经过有效推理和学习得到相同尺寸的输出
主要方法：将当前分类网络改编成全卷积网络（AlexNet、VGGNet和GoogleNet）并进行微调设计了跳跃连接将全局信息和局部信息连接起来，相互补偿
实验结果：在PASCAL VOC、NYUDv2和SIFT Flow数据集上得到了state-of-the-art的结果

引言&相关工作（Introduction and Related work）

在以往的分割方法中，主要有两大类缺陷：
1.基于图像块的分割很常见，但是效率低且需要前期或者后期处理（例如超像素、检测框、局部预分类等等）
2.语义分割面临的问题是语义信息和位置信息不能同时兼得，全局信息解决“是什么”的问题，而局部信息解决“在哪里”的问题
为了解决上面的这两个问题，FCN提出了以下三个创新点：
1.将分类网络改编为全卷积神经网络，具体包括将全连接层转化为卷积以及通过反卷积进行上采样等
2.使用迁移学习的方式进行微调（即保留原分类模型的参数）
3.使用跳跃连接结构来将语义信息和位置信息（表征信息）相结合，以此来产生准确精细的分割结果

全卷积网络结构（Fully Convolutional Networks）

自适应分类器进行密集预测（Adapting classifiers for dense prediction）

FCN网络中将CNN网络的后三层即全连接层全部转化为1*1的卷积核所对应等同向量长度的多通道卷积层，整个网络模型全部由卷积层组成，没有全连接层产生的向量。通过这样的转换将CNN从图像级的识别（从图像到结果）转换为FCN的像素级识别（标注输出图像中的每一个像素最可能属于哪一类别）

Shift- and- stitch

通过平移像素，下采样因子f会产生f^2个版本的输入，
同样对应f^2个版本的输出，然后将这些输入输出进行缝合，接着进行密度预测

上采样（Upsampling）

本文没有沿用以往的插值上采样，而是提出了新的上采样方法，即反卷积（Deconvolution）。反卷积可以理解为卷积操作的逆运算，反卷积并不能复原卷积操作造成的值的损失，它仅仅是将卷积过程中的步骤反向变换一次，以此来达到上采样的目的，因此它还可以被称为转置卷积。

网络结构（Segmentation Architecture）

网络将VGG的全连接层替换为21通道的卷积层，并通过反卷积和之前的特征图进行融合（跳跃连接）来实现输出为与输入图像相同的图像。
作者通过实验发现FCN在175个epoch之后才会有不错的表现。
关于融合特征图的层数：
pool3之前的特征图不需要进行融合，因为当融合pool4时模型已经产生了最好的输出，如果继续融合pool3，会造成模型效果变差且模型参数会增加等问题。
TIPS：在进行训练之前，反卷积的参数需要进行初始化，这样可以提升模型效果
算法的学习率会在100次之后进行调整

训练技巧（Training Tricks）

1.加载预训练模型
2.初始化反卷积参数
3.至少175个epoch后算法才会有不错的表现
4.学习率在100次之后进行调整
5.pool3之前的特征图不需要进行融合

实验结果及分析（Results and Discussion）

实验设置：
硬件设备：NVIDIA　Tesla　K40c
深度学习框架：Caffe
minibatch：20
优化器：SGD + momentum 0.9
学习率：FCN-AlexNet 1e-3
FCN-VGG 1e-4
FCN-GoogLeNet 1e-5
分类模型中的Dropout
扩大数据规模，使用迁移学习
数据预处理：Randomly mirroring
实验结果：

将AlexNet，VGG与GoogLeNet做了FCN的改变，在实验中发现，FCN-VGG的改变结果最好

对比不同特征图的融合结果，在FCN-8s时，模型的分割效果最好

对比FCN-8s，SDS与R-CNN，FCN的分割效果最好，且速度最快


对比不同分割算法，FCN的表现最优。