Dense Scene Information Estimation Network for Dehazing（CVPR2019）个人学习笔记

http://signal.ee.psu.edu/research/ATJDH.html

摘要

图像脱模糊仍然是最具挑战性的反问题之一。深度学习方法的出现，以补充传统的基于模型的方法，并帮助定义了一种新的技术状态来实现可实现的去除图像质量。然而，实际的挑战仍然是在现实世界的图像中，场景被密集的雾霾严重覆盖，即使是没有视觉观察到的场景信息。许多最近的脱雾方法通过设计深度网络来估计雾霾模型中的物理参数来解决这一挑战，即环境光(A)和透射图(t)。然后，可以将雾霾模型的逆值用来估计去雾霾的图像。在这项工作中，我们开发了两种新的网络架构来进一步这一研究。我们的第一个模型，记为At-DH，设计了一个共享的基于密集网络的编码器和两个不同的基于数字网络的解码器来联合估计场景信息，即A和t。这与最近的研究(包括CVPR‘18的研究中发表的研究)形成了对比。作为At-DH的自然扩展，我们开发了AtJ-DH网络，它增加了一个基于DenseNet的解码器，与a和t共同重建无雾图像。（地面真实）训练去除/干净图像的知识可以通过一个自定义的正则化术语来利用，进一步提高了AtJ-DH中模型参数a和t的估计。在NTIRE‘19和NTIRE’18的具有挑战性的基准图像数据集上进行的实验表明，At-DH和AtJ-DH可以优于最先进的替代方案，特别是在恢复被密集雾霾破坏的图像时。

一、引言

雾霾是一种大气现象，其中灰尘、烟雾和其他微粒模糊了清晰度。雾霾可能会导致所拍摄的场景的能见度急剧下降，特别是。在恶劣的天气里。虽然雾霾会导致视觉消费质量的损失，但在数字图像中出现的雾霾会有进一步的负面影响在高级计算机视觉任务中，如物体的检测和识别[1]。

去雾是指利用算法方法处理雾天图像并产生高视觉质量的（去雾）图像的技术。从移动设备、自动驾驶和导航系统等方面在摄影领域的新兴应用，推动了对有效的去雾算法的需求。

 其中，·表示元素方向的乘法，I为观察到的模糊图像，J为真实的场景辐射，A为环境光强度，t为透射图。T是一个与距离相关的因素，它会影响到能够到达相机传感器的光的比例。t可以表示为t=eβd，其中β表示大气的衰减系数，d表示场景深度。图像去雾任务本质上是一个基于I的J恢复的过程，根据等式，这不可避免地会导致严重污染的问题 (1).它可以从等式中观察到（1）认为，对于任何给定的模糊图像，都有多种可能作为输入。同样明显的是，如果提供了关于d的信息，恢复J的任务将会变得更加容易。然而，在实践中很少有这种深度信息。

在过去的二十年里，图像脱模糊一直被积极研究。现有的工作可以分为多图像处理和单图像去模糊处理。由于描述场景信息的参数的可用性，早期的研究集中在多图像脱模糊[12,13]。然而，在不同的天气/环境条件下，可以获得同一场景的许多图像往往是不现实的。

最近，深度学习(DL)方法已经被证明在成像逆问题方面取得了成功。这些方法利用深度网络强大的泛化能力来建模非线性映射函数。然而，由于现实世界的I和J对很难获得，因此在训练过程中经常使用合成数据集。

在现实世界中，雾霾水平可能比大多数合成训练数据集的情况要密集得多。NTIRE2019-Dehaze挑战数据集代表了现实世界的挑战。即使部分图像被很好地恢复，在最密集的区域也不能经常看到明确的视觉信息。

在本文中，我们提出了一个密集的场景信息估计网络来直接解决这个问题。我们的第一个模型，记为At-DH，设计了一个共享的基于DensetNe