From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data （ACMMM 2021）个人学习笔记

摘要

单图像去雾是一项具有挑战性的任务，在合成训练数据和真实测试图像之间的域转换通常会导致现有方法的退化。为了解决这个问题，我们提出了一种新的图像去雾框架，与未标记的真实数据协作。首先，我们开发了一个分解图像去雾网络(DID-Net)，它根据雾霾形成过程的物理模型，将特征表示分解为潜在的无雾霾图像、传输图和全球大气光估计。我们的DID-Net通过跨尺度逐步整合特征来预测这三个组件地图，并通过一个独立的细化网络来细化每个地图。然后利用分解一致性平均教师网络(DMT-Net)对未标记的真实数据进行协作，以增强单幅图像。具体来说，我们鼓励通过对未标记的真实数据使用一致性损失，对每个解纠缠组件的粗糙预测和细化在学生和教师网络之间保持一致。我们在一个新收集的数据集(Haze4K)和两个广泛使用的去雾数据集(即SOTS和HazeRD)以及现实世界的模糊图像上与13种最先进的去模糊方法进行了比较。实验结果表明，该方法比现有方法在定量上有明显的改进和定性改进

一、引言

现有的基于cnn的方法存在一些局限性。首先，这些方法通常利用合成的雾图像以监督学习的方式训练网络，由于合成训练图像和真实测试照片之间的域转移，在真实模糊照片中的性能下降。第二，根据等式的物理模型（1），输入的模糊图像是传输地图、全球大气光图和潜在的无雾图像的组合，表明从输入的雾霾图像中学习到的CNN特征包括物理模型的几个因素。不幸的是，许多现有的方法只使用这些CNN特征来预测一个因素（例如，传输地图或无雾结果），阻碍了图像的去雾性能。

为了解决这些问题，本工作开发了一个解纠缠图像去雾框架，利用解纠缠特征学习和未标记的真实数据来提高图像去雾性能。具体来说，我们首先提出了一种解纠缠图像去雾网络(DID-Net)，将每个尺度上的特征分解为三个特征成分，它们是用于传输地图估计的传输提炼特征，用于潜在无雾图像估计的潜在提取特征，以及用于全球大气光估计的光提炼特征。.然后，我们逐步整合传输特征、相邻尺度上的潜在图像特征和光特征，以预测传输图、无雾图像和全球大气图。另一方面，为了整合合成和真实世界的模糊图像，我们首先将DID-Net分配到一个平均教师框架中，然后计算标记合成数据的解纠缠监督损失和未标记真实数据的一致性损失，以约束网络的粗糙预测和细化。通过这样做，我们的方法实现了比最先进的方法更优越的脱雾性能。

本文贡献：

我们提出了一个图像去模糊框架来利用解纠缠的特征表示和未标记的真实世界的模糊图像来增强单个图像去模糊。

•我们设计了一个解纠缠图像去雾网络(DID-Net)，通过一种从粗糙到细化的策略来预测传输图、潜在的无雾图像和大气光图。

•采用解纠缠一致性平均-教师网络(DMTNet)对已标记的合成数据和未标记的真实数据进行协作。

我们将我们的网络与一个新收集的数据集和各种真实世界的模糊方法，一个广泛使用的去雾基准数据集和各种模糊图像。实验结果表明，我们的网络的性能优于最先进的脱雾方法。我们的代码，训练过的模型，和结果在https://github.com/liuye123321/DMT-Net。

二、相关方法

1、传统去雾方法

请注意，这些来自人类观察的手工制作的先验并不总是存在于各种真实世界的雾霾图像中。因此，他们往往会遭受不受欢迎的颜色失真。

2、基于深度学习的图像去雾方法

然而，不准确的传输图估计阻碍了这些方法的雾霾去除质量。

However, inaccurate transmission map estimation hinders haze removal quality of these methods.

然而，对这些深度模型的不相交优化未能捕捉到传输图、大气光和脱雾结果之间的内在关系，从而降低了整体脱雾性能。

为了缓解这一问题，Zhang等人[43]采用两个网络分别对透射图和大气光进行估计，并根据物理雾霾模型计算无雾霾图像(见等式（1）)，它们都被集成到一个端到端脱雾网络(DCPDN)中。Deng等人[8]专注地融合多个数学雾分离模型进行图像去雾。Qu等人[29]提出了一种带有多分辨率生成器模块、增强器模块和多尺度鉴别器模块的去模糊GAN。Liu等人[25]设计了一个带有预处理模块、基于注意力的多尺度骨干模块和后处理模块的CNN。Deng等人的[7]将具有归一化层的雾霾感知表示蒸馏(HARD)模块堆叠成一个GAN，以仔细融合全球大气亮度和局部空间结构。Dong等[9]明确地将物理模型利用到编码解码网络中。虽然提高了整体场景的可见性，但这些方法是以监督学习的方式对合成图像进行训练的，能力有限，无法很好地推广到现实世界的雾天图像。

为了缓解这一问题To alleviate this issue,，我们开发了一个解纠缠图