基于深度学习的图像分割_基于深度学习的图像语义分割 csdn-CSDN博客

https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf
我们介绍的第一篇论文是Fully Convolutional Networks for Semantic Segmentation，简称FCN。这篇论文是第一篇成功使用深度学习做图像语义分割的论文。论文的主要贡献有两点：

提出了全卷积网络。将全连接网络替换成了卷积网络，使得网络可以接受任意大小的图片，并输出和原图一样大小的分割图。只有这样，才能为每个像素做分类。使用了反卷积层（Deconvolution）。分类神经网络的特征图一般只有原图的几分之一大小。想要映射回原图大小必须对特征图进行上采样，这就是反卷积层的作用。虽然名字叫反卷积层，但其实它并不是卷积的逆操作，更合适的名字叫做转置卷积（Transposed Convolution），作用是从小的特征图卷出大的特征图。这是神经网络做语义分割的开山之作，需彻底理解。

2. DeepLab

https://arxiv.org/pdf/1412.7062.pdf

https://arxiv.org/pdf/1606.00915.pdf

https://arxiv.org/pdf/1706.05587.pdf
DeepLab有v1 v2 v3，第一篇名字叫做DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs。这一系列论文引入了以下几点比较重要的方法：

第一个是带洞卷积，英文名叫做Dilated Convolution，或者Atrous Convolution。带洞卷积实际上就是普通的卷积核中间插入了几个洞。它的运算量跟普通卷积保持一样，好处是它的“视野更大了”，比如普通3x3卷积的结果的视野是3x3，插入一个洞之后的视野是5x5。视野变大的作用是，在特征图缩小到同样倍数的情况下可以掌握更多图像的全局信息，这在语义分割中很重要。

首先这里我们将指出一个第一个结构FCN的粗糙之处：为了保证之后输出的尺寸不至于太小，FCN的作者在第一层直接对原图加了100的padding，可想而知，这会引入噪声。

而怎样才能保证输出的尺寸不会太小而又不会产生加100 padding这样的做法呢？可能有人会说减少池化层不就行了，这样理论上是可以的，但是这样直接就改变了原先可用的结构了，而且最重要的一点是就不能用以前的结构参数进行fine-tune了。所以，Deeplab这里使用了一个非常优雅的做法：将pooling的stride改为1，再加上 1 padding。这样池化后的图片尺寸并未减小，并且依然保留了池化整合特征的特性。

但是，事情还没完。因为池化层变了，后面的卷积的感受野也对应的改变了，这样也不能进行fine-tune了。所以，Deeplab提出了一种新的卷积，带孔的卷积：Atrous Convolution.即：

而具体的感受野变化如下：

a为普通的池化的结果，b为“优雅”池化的结果。我们设想在a上进行卷积核尺寸为3的普通卷积，则对应的感受野大小为7.而在b上进行同样的操作，对应的感受野变为了5.感受野减小了。但是如果使用hole为1的Atrous Convolution则感受野依然为7.

所以，Atrous Convolution能够保证这样的池化后的感受野不变，从而可以fine tune，同时也能保证输出的结果更加精细。即：

3. Pyramid Scene Parsing Network

http://jiaya.me/papers/PSPNet_cvpr17.pdf
Pyramid Scene Parsing Network的核心贡献是Global Pyramid Pooling，翻译成中文叫做全局金字塔池化。它将特征图缩放到几个不同的尺寸，使得特征具有更好地全局和多尺度信息，这一点在准确率提升上上非常有用。

4. Mask R-CNN

https://arxiv.org/pdf/1703.06870.pdf
Mask R-CNN是大神何凯明的力作，将Object Detection与Semantic Segmentation合在了一起做。它的贡献主要是以下几点。

第一，神经网络有了多个分支输出。Mask R-CNN使用类似Faster R-CNN的框架，Faster R-CNN的输出是物体的bounding box和类别，而Mask R-CNN则多了一个分支，用来预测物体的语义分割图。也就是说神经网络同时学习两项任务，可以互相促进。

第二，在语义分割中使用Binary Mask。原来的语义分割预测类别需要使用0 1 2 3 4等数字代表各个类别。在Mask R-CNN中，检测分支会预测类别。这时候分割只需要用0 1预测这个物体的形状面具就行了。

第三，Mask R-CNN提出了RoiAlign用来替换Faster R-CNN中的RoiPooling。RoiPooling的思想是将输入图像中任意一块区域对应到神经网络特征图中的对应区域。RoiPooling使用了化整的近似来寻找对应区域，导致对应关系与实际情况有偏移。这个偏移在分类任务中可以容忍，但对于精细度更高的分割则影响较大。

为了解决这个问题，RoiAlign不再使用化整操作，而是使用线性插值来寻找更精准的对应区域。效果就是可以得到更好地对应。实验也证明了效果不错。下面展示了与之前方法的对比，下面的图是Mask R-CNN，可以看出精细了很多。

5. U-Net

https://arxiv.org/pdf/1505.04597.pdf
U-Net是原作者参加ISBI Challenge提出的一种分割网络，能够适应很小的训练集（大约30张图）。U-Net与FCN都是很小的分割网络，既没有使用空洞卷积，也没有后接CRF，结构简单。

整个U-Net网络结构类似于一个大大的U字母：首先进行Conv+Pooling下采样；然后Deconv反卷积进行上采样，crop之前的低层feature map，进行融合；然后再次上采样。重复这个过程，直到获得输出388x388x2的feature map，最后经过softmax获得output segment map。总体来说与FCN思路非常类似。

语义分割网络在特征融合时也有2种办法：

FCN式的逐点相加，对应caffe的EltwiseLayer层，对应tensorflow的tf.add()

U-Net式的channel维度拼接融合，对应caffe的ConcatLayer层，对应tensorflow的tf.concat()

三、综述介绍

前端：FCN, SegNet/DeconvNet，DeepLab。当然还有一些其他的结构方法，比如有用RNN来做的，还有更有实际意义的weakly-supervised方法等等。

后端：全连接条件随机场(DenseCRF)、CRFasRNN、马尔科夫随机场(MRF)、高斯条件随机场(G-CRF)等类似有后处理操作。

具体的细节链接如下：https://blog.csdn.net/weixin_41923961/article/details/80946586

图像分割资源总结

基础学习

1. A 2017 Guide to Semantic Segmentation with Deep Learning 概述——用深度学习做语义分割

http://blog.qure.ai/notes/semantic-segmentation-deep-learning-review

http://simonduan.site/2017/07/23/notes-semantic-segmentation-deep-learning-review/
2. 从全卷积网络到大型卷积核：深度学习的语义分割全指南

https://www.jiqizhixin.com/articles/2017-07-14-10

3. Fully Convolutional Networks
http://simtalk.cn/2016/11/01/Fully-Convolutional-Networks/

4. 语义分割中的深度学习方法全解：从FCN、SegNet到各代DeepLab
https://zhuanlan.zhihu.com/p/27794982

5. 语义分割实际应用
http://blog.geohey.com/ji-suan-ji-shi-jue-zhi-yu-yi-fen-ge/

6. Segmentation Results: VOC2012 PASCAL语义分割比赛排名
http://host.robots.ox.ac.uk:8080/leaderboard/displaylb.php?challengeid=11&compid=6

7. 图像语义分割之FCN和CRF

https://zhuanlan.zhihu.com/p/22308032

强化学习

1. U-Net [https://arxiv.org/pdf/1505.04597.pdf]

2. SegNet [https://arxiv.org/pdf/1511.00561.pdf]

3. DeepLab [https://arxiv.org/pdf/1606.00915.pdf]

4. FCN [https://arxiv.org/pdf/1605.06211.pdf]

5. ENet [https://arxiv.org/pdf/1606.02147.pdf]

6. LinkNet [https://arxiv.org/pdf/1707.03718.pdf]

7. DenseNet [https://arxiv.org/pdf/1608.06993.pdf]

8. Tiramisu [https://arxiv.org/pdf/1611.09326.pdf]

9. DilatedNet [https://arxiv.org/pdf/1511.07122.pdf]

10. PixelNet [https://arxiv.org/pdf/1609.06694.pdf]

11. ICNet [https://arxiv.org/pdf/1704.08545.pdf]

12. ERFNet [http://www.robesafe.uah.es/personal/eduardo.romera/pdfs/Romera17iv.pdf]

13. RefineNet [https://arxiv.org/pdf/1611.06612.pdf]

14. PSPNet [https://arxiv.org/pdf/1612.01105.pdf]

15. CRFasRNN [http://www.robots.ox.ac.uk/~szheng/papers/CRFasRNN.pdf]

16. Dilated convolution [https://arxiv.org/pdf/1511.07122.pdf]

17. DeconvNet [https://arxiv.org/pdf/1505.04366.pdf]

18. FRRN [https://arxiv.org/pdf/1611.08323.pdf]

19. GCN [https://arxiv.org/pdf/1703.02719.pdf]

20. DUC, HDC [https://arxiv.org/pdf/1702.08502.pdf]

21. Segaware [https://arxiv.org/pdf/1708.04607.pdf]

22. Semantic Segmentation using Adversarial Networks [https://arxiv.org/pdf/1611.08408.pdf]

综述资料

1. A Review on Deep Learning Techniques Applied to Semantic Segmentation Alberto Garcia-Garcia, Sergio Orts-Escolano, Sergiu Oprea, Victor Villena-Martinez, Jose Garcia-Rodriguez 2017

[https://arxiv.org/abs/1704.06857]

2. Computer Vision for Autonomous Vehicles: Problems, Datasets and State-of-the-Art

[https://arxiv.org/abs/1704.05519]

3。基于内容的图像分割方法综述姜枫顾庆郝慧珍李娜郭延文陈道蓄 2017

[http://www.jos.org.cn/ch/reader/create_pdf.aspx?file_no=5136&journal_id=jos]