RefineDNet个人学习笔记

一、摘要
无雾图像是许多视觉系统和算法的先决条件，因此单幅图像去雾在计算机视觉中是至关重要的。在这一领域，基于先验的方法已经取得了初步的成功。然而，它们经常在输出中引入恼人的伪影，因为它们的先验很难适合所有情况。相比之下，基于学习的方法可以产生更自然的结果。然而，由于缺乏与训练样本相同场景的、成对的雾霾和清晰的户外图像，它们去除雾霾的能力有限。在这项工作中，我们试图将基于先验和基于学习的方法的优点合并，将去雾任务划分为两个子任务，即可见性恢复和提高真实性。具体地说，我们提出了一个两阶段弱监督去雾框架，RefineDNet。在第一阶段，RefineDNet采用暗通道先验恢复可见性。然后，在第二阶段，细化第一阶段的初步去雾结果，通过对未配对的雾天和清晰图像的对抗学习来提高真实性。为了获得更合格的结果，我们还提出了一种有效的感知融合策略来混合不同的去雾输出。大量的实验证实，具有感知融合的RefineDNet具有出色的去雾的能力，并能产生视觉上令人满意的效果。即使使用基本的主干网络实现，RefeneDNet也可以在室内和室外数据集上优于监督去雾方法以及其他最先进的方法。https://github.com/xiaofeng94/RefineDNet-for-dehazing

二、引言
1、基于先验的方法。由于在科施米德定律中有两个以上的未知变量，我们不能仅使用输入的模糊图像来确定它们。因此，基于先验方法的研究人员提出了各种先验作为额外的约束条件，以寻找J(x)的合适解。这些先验通常是为了恢复物体与环境光的对比度。由于可见性是由对比度决定的，因此基于先验的方法可以生成具有高可见性的去雾结果。尽管这些先验在特定情况下表现良好，但它们无法适应所有情况，因此过度增强了对比度，产生了不必要的伪影，如光晕和色块。

2、与基于先验的去雾方法不同，基于学习的方法可以学习去估计A和t(x)，或者通过监督学习直接从输入的雾霾图像中恢复J(x)。由于它们采用卷积神经网络(CNNs)，根据[Deep Image Prior]的方法可以产生少量伪影的图像，这些方法能够产生令人满意的去模糊结果。然而，他们的训练过程需要来自相同场景的大量清晰和模糊的图像对，这在现实世界的条件下很难大量收集。因此，他们经常将科施米德定律应用于具有基本深度信息的室内场景中，从而进行权衡和合成模糊图像。由于室内合成图像和真实室外图像之间存在一定的差距，基于学习的方法很可能会对合成数据进行过拟合，且其去除真实雾天图像的能力有限。

3、有趣的是，由于这两类方法的特点，基于先验的方法在恢复可见性方面相对更好，而基于学习的方法在提高结果的真实性方面更可取。图1提供了(a)的基于学习的AODNet[5]的脱雾结果，以及(b)的基于先验的DCP[8]来说明这一现象。正如我们所看到的，DCP的结果有更少的雾霾，但更多的伪影，而AODNet的结果是在很高的真实性，但有更多的雾霾。在附录A中，我们提供了一些关于基于先验和基于学习的方法的偏好的理论解释。为了进一步提高脱雾的结果，利用