Single Image Dehazing via Multi-scale Convolutional Neural Networks with Holistic Edges 2020 个人学习笔记

摘要

单图像去模糊一直是一个具有挑战性的问题，旨在恢复清晰的图像。现有的图像去模糊方法的性能受到手工设计的特征和先验的限制。在本文中，我们提出了一种多尺度深度神经网络，通过学习模糊图像与其传输映射之间的单图像去模糊。该算法由一个基于整个图像预测整体传输地图的粗尺度网和一个局部细化分离结果的精细尺度网组成。为了训练多尺度深度网络，我们基于纽约大学深度数据集，合成了一个由模糊图像和相应的传输地图组成的数据集。此外，我们提出了一个整体的边缘引导网络来细化估计的传输图的边缘。大量的实验表明，该算法在质量和速度方面，在合成图像和真实图像上都优于最先进的方法。

引言

近年来，在图像脱模糊处理方面取得了重大进展

式中，I(x）和J(x)分别为观测到的模糊图像和清晰的场景辐射；大气光A通常满足均匀假设，描述了图像的每个颜色通道上场景中散射光的强度；场景传输t(x)将强度的衰减描述为由散射引起的距离的函数。

其中，β为由颗粒、水滴等混浊介质引起的介质消光系数，和d(x)是场景深度。图像去模糊处理的目标是从I(x)中恢复清晰的场景亮度J(x)。如果我们知道大气光A和透射t(x)，则可以基于（1）恢复清晰的场景亮度J(x）。由于只有输入图像I(x)已知，单图像去模糊是一个不适定问题。

   许多去除雾霾的方法已经被提出，大多数去模糊处理方法使用各种视觉线索来捕捉模糊图像的确定性和统计特性。虽然这些特征表示是有用的，但上述方法中的假设并不适用于所有情况。例如，He等人（2011）中的先验是基于无雾图像中暗通道的值接近于零的假设。然而，当无雾图像不包含零强度像素时，这个假设并不总是成立，特别是当雾图像中的物体颜色与大气光相似时(Heetal.2009)。此外，这些方法还需要花费大量的精力来设计手工制作的场景传输估计特征[例如，使用集成特征来学习模糊图像和传输地图之间的映射(Tangetal.2014)]。更重要的是，基于手工制作特征的方法通常对图像的变化很敏感，如光照、视点和场景的变化。

   由于图像去模糊的主要目标是从输入图像中估计传输地图，我们提出了一个多尺度卷积神经网络(CNN)来基于深度估计网络来学习该任务的有效特征表示(Eigenetal.2014)。该算法学习到的特征不严重依赖于场景图像的统计先验或雾霾相关属性。由于学习到的特征是基于数据驱动的方法，它们能够描述模糊图像的内在特性，并帮助估计传输地图。为了学习这些特征，我们使用一个具有三个模块的神经网络直接对传输图进行回归。第一个模块是粗尺度网络，它估计了场景传输的整体结构，然后是一个精细尺度网络，利用局部信息和粗尺度模块的输出对其进行细化。最后，我们使用一个基于整体边缘的网络来细化传输图。整体边缘引导网络将整体边缘的结构转移到滤波输出中。这消除了孤立的和虚假的像素传输估计，同时，它鼓励了相邻的像素要有相同的标签。我们在由合成的和真实世界的模糊图像组成的众多数据集上评估了所提出的算法与最先进的算法。

    我们对这项工作的贡献总结如下：

-我们提出了一种多尺度CNN从模糊图像中学习有效的特征，用于估计场景传输地图。场景传输图首先通过粗尺度网络进行估计，然后通过精细尺度网络进行细化。

–我们提出了一种新的整体边缘引导网络，基于模糊图像的整体边缘信息来细化传输图。

-我们通过合成纽约大学深度数据库的干净图像和地面真实深度地图，开发了模糊图像及其传输地图(Silbermanetal.2012)。虽然使用合成数据集进行训练，但我们证明了学习到的多尺度CNN能够很好地去除真实世界的模糊图像。we show the learned multi-scale CNN is able to dehaze real-world hazy images well.

–我们分析了手工制作和学习的特征之间的差异，并表明所提出的算法优于最先进的方法。

在本文中，我们从三个方面扩展了我们的初步工作(Renetal.2016)。首先，我们通过删除池化层和上采样层来简化多尺度网络。3.1)而性能仍然被保留了下来。其次，我们开发了一种新的整体边缘引导网络，用于边缘细化。3.3).第三，我们提出了更多的技术细节，性能评估和定量分析所提出的算法。

2 Related Work

   由于图像去模糊问题是不适定的，早期的方法通常需要多帧来处理这个问题。

  与上述方法不同的是，另一种研究工作是基于模糊图像的物理性质。例如，Fattal（2008）提出了一个精细的图像形成模型，用于表面阴影和场景传输。在此模型的基础上，将模糊图像划分为恒定反照率区域，从而推断出场景传输。然而，这种方法需要耗时的操作，并关注于包含少量烟雾的图像。基于一个类似的模型，Tan（2008）提出了通过最大化模糊图像的局部对比度来增强模糊图像的可见性，但恢复后的图像往往包含扭曲的颜色和显著的光晕。

他等人（2009）提出了基于无雾图像统计的暗通道先验(DCP)。该方法假设至少有一个颜色通道有一些强度接近于零的像素。

  由于机器学习在各种视觉应用中的成功，数据驱动的去模糊模型最近变得流行起来(Ren等人，2018年；Li等人，2019年)。为了避免设计手工制作的特征，一些算法使用深度CNN进行图像去模糊处理(Zhangetal.2018)。在Cai等人（2016）中，使用深度神经网络进行传输估计(DehazeNet)，然后采用传统的方法估算大气光。然而，Cai等人基于一个图像补丁的上下文独立于传输地图的假设来合成模糊图像，而这在实践中并不成立。此外，该网络在补丁级上进行了训练，并充分利用了来自更大区域的高级信息。Li等人（2017）提出了大气散射图和大气光，而是估计大气散射模型，其中大气光和透射图以矩阵形式表示，并提出了AOD-Net来直接估计清晰图像。虽然AOD-Net算法不明确要求估计透射图和大气光，但它需要估计矩阵的参数。由于矩阵预测没有使用传输图的信息，这些最终恢复的图像仍然包含一些雾霾残留物。

   与这些基于学习的方法不同，我们的算法直接从雾霾图像中估计传输地图，其中所提出的网络受到地面的约束训练处理中的真实传输图。正如此。它能够保持模糊图像和传输地图之间的相关性，从而产生更真实的图像。此外，我们提出了一种新的多尺度CNN，利用一个整体的边缘引导网络来自动学习模糊图像和传输地图之间的映射。

3 Multi-scale Network for Transmission Estimation

   给定一个单一的模糊输入，我们的目标是通过估计场景传输图来恢复潜在的干净图像。该算法的主要步骤如图2a所示。我们首先描述了如何估计场景传输图t(x)，并提出了在第二节中计算大气光A的方法。

  对于每个场景，我们基于一个具有整体边缘引导网络的多尺度CNN来估计场景传输图t(x)。从粗尺度卷积网络中获得每个图像的场景传输图的粗结构，然后通过精细尺度网络进行细化。这两种网络都应用于原始输入的模糊图像，但此外，还将粗网络的输出作为附加信息传递给精细网络。尺度网络可以详细地细化粗预测。此外，我们使用整体嵌套边缘检测(HED)方法(Xie和Tu2015)来预测输入的模糊图像的整体边缘， 以细化传输图。所提出的用于学习模糊相关特征的多尺度CNN如图2b所示。

图2a所提出的单图像去模糊算法的主要步骤。为了训练多尺度网络，我们基于 深度图像数据集合成模糊图像和相应的传输地图。在测试阶段，我们根据训练后的模型估计输入的模糊图像的透射图，然后利用估计的大气光和计算出的透射图生成脱光散射图像。b提出的多尺度卷积网络。给定一个模糊的图像，粗尺度网络（在绿色虚线矩形中）预测一个整体的传输地图，并将其提供给细尺度网络（在橙色虚线矩形中），以生成一个精细的传输地图。然后，我们使用整体边来细化传输映射，使其在同一对象内部保持平滑。蓝色虚线表示串联操作（在线颜色图）

 3.1 Coarse-Scale Network

粗尺度网络的任务是预测场景的整体传输图。如图2b中的绿色虚线矩形所示，粗尺度网络包含四个特征提取层。除了最后一层外，每一个卷积层之后都有经过整流的线性单元(ReLU)(Nair和Hinton2010)。而不是添加最大池和上采样层限制特征地图和输出传输地图大小一样的输入模糊的图像在任etal.（2016），我们删除这些层，只使用卷积层与零填充来维护功能和输出地图的大小。

卷积层该网络以一个RGB图像作为输入。卷积层由滤波器组卷积与输入特征映射。每个卷积层的响应由：

 其中，flm和fl+1n分别是第l层和下一层(l+1)层的特征图。第一个卷积层(l=1)的特征映射是基于输入的模糊图像。另外，k是卷积核，索引(m，n)表示从当前的第m层特征映射到下一层第n层的映射，∗表示卷积算子。函数σ（·）表示滤波器响应上的ReLU(Nair和Hinton2010)，bl+1n为偏差。传输重建，我们生成粗传输图tc预测。

3.2 Fine-Scale Network

  在对粗场景传输图进行估计后，利用精细尺度网络对其进行细化。该网络的接受域比粗尺度网络的接受域要小。精细尺度网络堆栈的体系结构与粗尺度网络相似，除了第一个和第二个网络卷积层。我们的精细尺度网络的结构如图2b（橙色虚线矩形）所示，其中粗输出传输图被用作一个额外的低水平特征图。我们将这两个网络连接在精细尺度的网络中，以 细化场景传输图。此外，我们使用零填充卷积在后续层中维护特征映射的大小。

3.3 Holistic Edge Guided Network

  精细尺度网络可以 估计精细边缘和去除晕伪影(见节。6.3).但是，如果图像包含如图5a所示的强纹理， 精细尺度网很可能会将多余的边缘转移到传输图中，从而包含如图5b所示的 不必要的细节。在这种情况下，模型（2）的假设不成立，因为每个像素处的 雾霾量不仅取决于深度，还取决于 其纹理或颜色。理想情况下， 传输图应该在同一对象的区域内平滑，并且在 不同对象的边界上不连续。因此，我们期 望改进后的传输映射在同一对象内部是平滑的，并且 只沿着深度边缘不连续。因此，我们提出了一种新的利用整体边缘检测器的整体边缘引导网络(Xie和Tu2015)。由于整体边缘检测器(Xie和Tu2015)为输入图像学习了丰富的层次表示，因此解决边缘和目标边界检测中的模糊性非常重要。

  给定图3a中的无雾霾图像，我们使用不同的介质消光系数β来合成不同雾霾浓度的图像。如图3b-d第二行所示，HED(Xie和Tu2015)检测到的所有边缘在不同的雾霾浓度图像下都是相似的。因此，我们首先使用HED(Xie和Tu2015)提取整体边缘，然后将提取的边缘与整体边缘引导网络中的第一个卷积层连接起来，可以进一步细化传输图中的边缘。整体边缘引导网络的体系结构与精细尺度网相同。此外，我们还使用精细尺度网络的输出作为整体边缘引导网络中的附加特征图。整体边缘引导网络的结构如图2b的底部所示。

  图4显示了Canny等人（1986）和HED(Xie和Tu2015)探测器对图5a中具有丰富纹理的图像的边缘。Canny探测器(Canny等人，1986年)提取不必要的细边缘。这些复杂的结构很可能被转移到传输图上。相比之下，HED探测器(Xie和Tu2015)提取的边缘包含了场景的主要结构，没有额外的细节，这也证明了HED(Xie和Tu2015)在图像去模糊任务中的有效性。

3.4 Training

通过最小化重建传输ti(x)与相应的地面传输图ti∗(x)之间的损失，学习模糊图像与相应传输图之间的映射函数：

其中，θ为模型参数，q为训练集中模糊图像的数量，s为标度指数。在这里，我们有三个尺度，因为我们使用粗糙和细尺度网以及整体边缘引导网络。训练损失（5）全部用于这三种尺度网络。我们使用具有反向传播学习规则的随机梯度下降方法来最小化损失（5）。实现细节包括在章节中。 5.

4 Dehazing with the Multi-scale Network

4.1 Atmospheric Light Estimation

在获得场景传输图t(x)后，我们可以使用现有的算法，例如，（Berman等人2017；Sulami等人2014；他等人2009；Zhu等人2015）来估算大气光。根据Fattal（2008），当气溶胶反射率特性和主导场景照明在整个场景中近似均匀时，一个恒定的大气光是一个适当的近似值。因此，我们将A作为图像上的一个常数，并使用该方法(He等，2009；Zhu等，2015)进行估计。我们直接从估计的传输图中计算出A。从模糊图像形成模型（1）中，我们推导出t(x)=0时的A，即t(x)→0时的I(x)=A。因此，我们通过给出一个阈值来估计大气光a，

 根据（6），我们在传输图t(x)中选择0.1%的最暗像素（He等人，2009；Zhu等人，2015）。这些像素具有最大的烟雾浓度。在这些像素中，选择相应的模糊图像I中强度值最高的像素作为大气光。图6显示了三个合成的模糊图像的例子。我们比较针对Berman等人（2017）和Sulami等人（2014）提出的两种最先进的方法提出的大气光估计算法。该方法(Sulamietal.2014)低估了大气光，导致去除后图像的颜色失真(图6b)。Berman等人（2017）的算法比Sulami等人（2014）估计了更好的大气光。然而，由于大气光较不准确，这种方法过度增强了脱光结果(图6c)。相比之下，通过我们的算法得到的大气光接近地面真相，从而导致视觉上更好的结果。除了消色差的大气光外，我们还在非消色差的光(即A=[0.7,0.8,0.9])上评估了我们的方法，如图6的第四行所示。此外，该算法在非消色差光估计方面也优于现有的差光估计方法。

    对于图7中的真实例子，Sulami等人（2014）和Berman等人（2017）的算法由于大气光估计不准确，不能生成清晰的图像。图7d中的除雾图像表明，即使场景不包含天空区域，我们的方法也能够估计真实图像中的大气光。

4.2 Haze Removal

一旦估算出大气光A和场景透射图t(x)，就可以用J(x)=(I(x)−A)/t(x)+A估计无雾图像。然而，当t(x)接近0时，通过该模型直接估算J(x)容易产生噪声。因此，我们估计场景辐射度J(x)

5 Experimental Results

     我们在两个合成数据集和真实世界的模糊图像上定量地评估了所提出的算法，并在准确性和运行时间方面与最先进的方法进行了比较。该实现代码将向公众开放。在我们之前的工作中(Renetal.2016)将多尺度CNN称为MSCNN，而提出的具有整体边缘引导网络的多尺度CNN称为MSCNN-HE。实验设置采用随机梯度下降法对该网络进行了训练。动量值、权重衰减参数和批处理大小分别设置为0.9、5×10−4和10。每一批都是一个整体图像，其大小为320×240像素。初始学习率为0.001，每20个epoch后下降0.1，epoch数设置为70。在一个拥有2.8GHzCPU和一个NVIDIAK40GPU的台式电脑上，训练时间大约是10个小时。为了训练多尺度网络，我们生成了一个具有合成的模糊图像及其相应的传输地图的数据集。尽管存在一些户外数据集，如Make3D(Saxena等人2009年)和KITTI(Geiger等人2012年)，但与现有的室内数据集相比，深度图不那么精确和不完整（西尔伯曼等人2012年）。因此，我们从NYU深度数据集(Silbermanetal.2012)中随机抽取6000张干净的图像和相应的深度图来构建训练集。此外，我们使用米德尔伯里立体数据集（沙斯坦和斯泽利斯基2002,2003）生成了50张合成的模糊图像的验证集。

给定一个清晰的图像J(x)和地面真实深度d(x)，我们利用（1）和（2）描述的物理模型合成了一个模糊的图像。我们生成随机的大气光A=[k，k，k]，其中k∈[0.7,1.0]，并对每张图像采样三个随机的β∈[0.5,1.5]。我们使用消色差大气光由于非消色差大气光，往往会产生一些非自然的生锈或绿蓝图像，如图8b所示。例如，A=[0.9,0.7,0.7]的大气光会导致一个生锈的输出，如图8的第一行所示。此外，我们不使用小型β∈（0,0.5），因为它会导致薄雾和增强噪声(Heetal.2011)。另一方面，我们不使用较大的β∈（1.5，∞），因为所得到的传输图接近于零。因此，我们在训练集中有18000张模糊图像和传输地图（6000张图像×3张中等消光系数β）。

5.1 Quantitative Evaluation on Benchmark Dataset

我们将所提出的算法与最先进的去雾方法进行了比较(He等人，2011年；孟等人，2013年；Berman等人，2016年；Tang等人，2014年；Cai等人，2016年)，使用峰值信噪比(PSNR)和结构相似度(SSIM)指标。我们用五个例子：保龄球、芦荟、婴儿、大富翁和书籍作为插图。图9a显示了输入的模糊图像，这些图像是由已知深度图的无模糊图像合成的(沙斯坦和Szeliski2002)。由于孟等人(Heetal.2011)的方法设计基于DCP，假设清晰图像的暗通道值为零，因此倾向于高估雾霾厚度，结果较深，如图9b所示。我们注意到，Berman等人(孟etal.2013)生成的脱光图像往往会有一些颜色失真。例如，图书后图像的颜色变暗，如图9c、d所示。虽然Tang等人（2014）对图9d的去除结果优于孟等人（2013）、Berman等人（2016）的结果，但图9d后两张图像的颜色仍比地面真相更深。相比之下，MSCNN方法(Renetal.2016)和提出的MSCNN-HE的去除结果接近地面真实图像，表明估计了更好的传输图。图10显示，与最先进的脱雾方法相比，所提出的算法在图9中的每张图像上表现良好(He等2011；塔雷尔和豪蒂尔2009；孟等2013；Tang等2014)的PSNR和SSIM。虽然图9f、g中的视觉效果相似，但该方法的平均PSNR和SSIM值均高于MSCNN方法(Renetal.2016)。

新的合成数据集，为了定量性能评估，我们构建了一个新的合成模糊图像数据集，并将所提出的算法与最先进的去雾方法进行了比较(He等2011；孟等2013；Berman等2016；Cai等2016)。此外，我们还与不使用整体边缘引导网络的方法进行了比较(Renetal.2016)。我们从NYUDepth数据集中随机选择了40幅图像及其深度图(Silbermanetal.2012)（不同于那些用于训练的地图）使用（1）合成40张传输地图和模糊图像。在（1）中，我们假设纯白色大气空气，即A=[1,1,1]，然后在实验中使用β=1的介质消光系数。

   图11显示了一些通过不同方法进行的脱灰图像。He等人（2011）和孟等人（2013）的方法倾向于高估雾霾厚度，如图11c、d中估计的传输图所示。这表明，在某些区域，去除的结果往往比地面真实图像更暗。例如，在第一幅图像中，地板的颜色从灰色变为蓝色，而在第三幅图像中，门的颜色从白色变为黄色。去除图像中包含颜色扭曲的区域对应于估计的传输地图中较暗的区域。Berman等人（2016）估计的传播图和最终去除结果与孟等人（2013）的结果相似。如图11e所示，脱灰图像仍存在一些颜色扭曲。图11f，g分别显示了通过不使用和使用整体边缘引导网络的算法估计的传输图和最终恢复的图像。图11f，g1的结果在大多数情况下非常相似。然而，整体的边缘引导网络仍然改进了估计的传输图。例如，(g)中估计的传输图比(f)中估计的结果更平滑，更接近地面真实值，这证明了所提出的整体边缘引导网络的有效性。总体而言，该算法的去除结果具有较高的视觉质量和较少的颜色失真。此外，表1中的定性结果表明，所提出的算法在PSNR和SSIM指标方面优于最先进的方法。我们还比较了He等人（2011）、孟等人（2013）、Berman等人（2016）、Cai等人（2016）和表1中我们的算法估计的传输图的MSE。我们评估了来自驻留数据集的SOTS数据（Li等2018）和最先进的方法（He等2011；孟等2013；Berman等2016；Cai等2016；Li等2017；Ren等2016）。表3显示，我们的方法在PSNR和SSIM方面与最先进的算法具有竞争力。此外，与MSCNN(Ren等人，2016年)相比，提出的算法

5.2 Real Images

虽然我们的多尺度网络是在合成的室内图像上进行训练的，但它也可以应用于现实世界的室外图像。我们根据最先进的图像去雾方法对所提出的算法进行了评估(Heetal.2009；Tang等人。2014年；Sulami等人2014年；孟等人2013年；Cai等人2016年；李等人2017年）在图中使用7幅具有挑战性的真实图像。12岁和13岁。在图12中，He等人（2011）和Sulami等人（2014）去除的净化城市图像倾向于高估雾霾厚度，产生黑暗结果，如图12b、d所示。此外，孟等人（2013）和Sulami等人（2014）的研究结果存在一些颜色扭曲，如(c)和(d)所示，特别是在天空区域。孟等人（2013）的方法可以 增强图像的细节，增强图像的可见性。但是，恢复的图像仍然有一些颜色失真。例如，在(c).中的城市图像中， 天空的颜色从灰色变为黑色在图13中，由于孟等人（2013）和Tang等人（2014）的方法仍然依赖于DCP，这些方法也倾向 于高估雾霾的厚度，产生 较暗的图像。Cai等人（2016）的结果仍有一些剩余的阴霾，如图13d的第三行所示。2014年；Sulami等人2014年；孟等人2013年；Cai等人2016年；李等人2017年）在图中使用7幅具有挑战性的真实图像。12岁和13岁。在图12中，He等人（2011）和Sulami等人（2014）去除的净化城市图像倾向于 高估雾霾厚度，产生黑暗结果，如图12b、d所示。此外，孟等人（2013）和Sulami等人（2014）的研究结果存在一些 颜色失真，如(c)和(d)所示，特别是在 天空区域。孟等人（2013）的方法可以增强图像的细节，增强图像的可见性。但是，恢复的图像仍然有一些颜色失真。

 

 采用整体边缘引导网络进行(MSCNN-HE)和不使用(MSCNN)的算法，在没有颜色失真或伪影的密集雾霾区域，视觉上更令人愉悦。由于所有的除雾算法都能通过对一般的户外图像进行除雾而得到良好的效果，如图所示。12和13，我们进一步对厚的模糊图像进行了一些实验，如图14所示。在本节中，我们主要将我们的方法与现有的基于深度学习的方法进行比较，因为这些方法是与我们最相关的算法。图14a描绘了要脱光的厚厚的模糊图像。图14b-d分别显示了DehazeNet（Cai等人2016年）、AOD-Net（Li等人2017年）和DCPDN（Zhang和Patel2018年）的结果。如图所示，去雾网和AOD-Net均采用单尺度网络，且无法去除密集的雾霾。DCPND利用了多尺度策略，但脱雾的结果明显存在不均匀的去雾伪影（例如，附近的区域脱雾良好，而远处的区域仍然有明显的雾霾）。相比之下，图14e中我们的算法的去除结果清晰，细节增强。

    此外，我们收集了一些模糊的图像，其中汽车的前灯从互联网上打开，因为这些场景在模糊的日子里相对常见，并将所提出的算法与一些最先进的单一图像去模糊方法进行比较。如图15所示，由DCP、DehazeNet和AOD-Net生成的结果 趋于暗。相比之下，该算法的去除结果在视觉上更令人满意。

 

6 Analysis and Discussions

6.1 Generalization Capability   泛化能力

如5.2所说，所提出的多尺度网络的性能优于目前最先进的户外场景图像脱雾方法。下面，我们将 解释为什么所提出的经过室内场景训练的网络可以处理室外图像。

关键的观察结果是，图像内容与场景深度和介质传输无关(Tangetal.2014)，即相同的图像（或补丁）内容可 以在不同的图像中出现在不同的深度。因此，虽然训练图像的深度相对较浅，但我们可以通过 调整介质消光系数β的值来增加雾霾浓度。在此前提下， 合成传输图独立于深度d(x)，并覆盖了真实传输图中广泛的值范围。

6.4 Effectiveness of Holistic Edge Guided Network

   在第二节中。在5.1和表1中，我们已经证明了所提出的整体边缘引导网络能够改进估计的传输图和模糊的结果。图16b中的绿色和橙色线也表明，利用整体边缘信息可以提高传输估计性能。

我们进一步证明了所提出的整体边缘引导网络的效果。图18显示了有和没有整体边缘引导网络的边缘检测结果和传输图。如图18b所示，Canny探测器(Cannyetal.1986)的结果有许多琐碎的边缘细节。这些细节可能会干扰传输图（图18d）。相比之下，图18c中的边缘检测结果只包含了主要结构模糊图像，几乎与传输图的边缘一致。因此，属于相同深度的建筑物具有与图18e所示相同的传输效果，从而得到了图18f中清晰的脱灰图像。

   我们注意到，所提出的方法是基于三尺度网络来调制中间特征的。我们在表4中分析了传输估计精度和网络配置之间的关系。结果表明，仅使用粗尺度网络不能恢复清晰的图像，而添加细尺度网络可以提高PSNR和SSIM的性能。如表3所示，通过使用最先进的方法恢复的图像相比，通过生成更清晰的图像，可以进一步使用集成的网络。

6.6 Effects of Different Features

在本节中，我们将举例说明传统手工制作的特征与所提出的多尺度CNN模型所学习到的特征之间的区别。传统方法（He等人2011；Tang等人2014；Tan2008）专注于设计手工制作的特征，而我们的方法则自动学习有效的雾霾相关特征。

图20a显示了一个模糊的输入。仅使用暗通道特征(b)得到的脱灰结果如图(c).所示如图所示，当只使用手工制作的DCP特性时，结果会有一些黑暗的区域。Tang等人（2014）提出了一种基于学习的脱雾模型。然而，这项工作在设计手工制作的特性方面需要付出相当大的努力，包括暗通道、局部最大对比度、局部最大饱和度和色差，如(d).所示通过在一个回归框架中融合所有这些特征，去除后的结果如(e)所示。相比之下，我们的网络会自动学习有效的特征。图20f显示了一些由多尺度网络从输入的图像中学习到的特征。这些特征是从多尺度CNN模型的中间层中随机选择的。如图20f所示，学习到的特征包括输入的模糊图像的各种信息，包括亮度图、强度图、边缘细节、雾霾量等。更有趣的是，该算法学习到的一些特征类似于暗通道和局部最大对比中两个红色矩形的图20f，这表明暗通道和局部最大对比先验是有用的。从该算法中学习到这些不同的特征，图20g所示的脱光图像在视觉上更清晰、更亮。

6.7 Failure Cases

我们的多尺度CNN模型是在基于模糊模型（1）创建的合成数据集上进行训练的。由于模糊模型（1）通常不适用于夜间模糊图像(Li等，2015；Zhang等，2014)或非均匀大气光的图像，因为这些图像往往包含其他光源，如图21a所示，我们的方法对这些图像的效果较差。其中一个故障示例如图21所示。由于估计的大气光不准确，我们的结果有一些暗区域。虽然所提出的算法能够去除图14中的厚雾霾，但我们的方法仍然不能处理具有重雾霾的图像，其中大部分场景信息被雾霾破坏。例如，在图21d中的模糊图像中，所有的背景信息都丢失了，因此所采用的图像形成模型并不成立。图21f显示了所提出的方法不能生成一个清晰的图像。我们的目标是在今后的工作中解决这些问题。

7 Conclusions

本文通过多尺度深度网络来解决图像去模糊问题，该网络通过学习有效的特征来估计单个模糊图像的场景传输图。与以往需要精心设计的特征和组合策略的方法相比，所提出的特征学习方法易于实现和再现。在所提出的多尺度模型中，我们首先使用粗尺度网络来学习场景传输图的整体估计，然后使用细尺度网络来利用局部信息和粗尺度网络的输出来对其进行细化。此外，我们提出了一个整体的边缘引导网络，以确保具有相同深度的物体具有相同的传输值。在合成图像和真实图像上的实验结果证明了该算法的有效性。