Semi-Supervised Image Dehazing个人学习笔记

一、摘要

提出了一种有效的单图像去雾的半监督学习算法。该算法采用一个包含有监督学习分支和一个无监督学习分支的深度卷积神经网络(CNN)。在有监督的分支中，深度神经网络受到有监督的损失函数的约束，即均方损失、感知损失和对抗性损失。在无监督分支中，我们利用暗通道的稀疏性和梯度先验来利用干净图像的性质来约束网络。我们以端到端的方式在合成数据和真实世界的图像上训练所提出的网络。分析表明，所提出的半监督学习算法并不局限于合成的训练数据集，可以很好地推广到真实图像。大量的实验结果表明，该算法在基准数据集和真实图像上都优于目前最先进的单幅图像脱模糊算法。

https://sites.google.com/view/lerenhanli/homepage/semi_su_dehazing

二、引言

为了克服这一问题，深度卷积神经网络(CNNs)已被用于图像去模糊处理[2]、[15]、[18]、[28]-[30]、[43]。通常，深度cnn被用于估计传输图[2]、[28]、[43]，或直接预测干净的图像[15]、[18]、[29]。这些方法是高效的，优于手工制作的先验算法具有显著的性能提高。然而，基于深度学习的方法通常需要大量的地面真实图像来进行训练。其中大多数都是在合成的模糊数据集(例如，纽约大学深度数据集[37]和Make3D数据集[33]-[35])上进行训练的。由于这些合成的模糊数据集包含有限的图像类别和图像深度，现有的基于深度学习的算法的性能通常仅限于合成的训练数据集，不能很好地推广到现实世界的雾霾图像。

为此，我们提出了一种半监督学习网络来使用合成和真实世界的模糊图像。具体来说，我们设计了一个由一个有监督分支和一个无监督分支组成的深度网络，它们在训练过程中共享权重。监督分支在合成模糊图像上进行训练，无监督分支在真实模糊图像上进行训练。在监督分支中，我们应用标记损失，如均方损失、感知损失和对抗性损失，用估计结果和地面事实之间的差异来训练网络。为了避免有监督分支对训练数据集的过拟合，我们利用暗通道(DC)[7]和图像梯度，如总变化(TV)[32]来约束无监督分支。整个网络以端到端方式对合成数据和真实图像进行训练。使用半监督学习方法，我们的网络表现优于最先进的脱雾方法。图1显示了一个真实世界的模糊图像的例子，其中所提出的方法生成了一个更清晰的图像。

本工作的贡献如下：

我们提出了一种半监督算法来学习合成图像和真实世界的模糊图像之间的关系。该网络由一个有监督的分支和一个无监督的分支组成。

•我们利用传统的图像先验作为无标记损失，用真实的训练数据来训练无监督分支。

•我们进行了大量的