使用增强大气散射模型的图像去雾和曝光（一）

zl201110

已于 2023-12-15 09:30:25 修改

阅读量1.6k

点赞数 24

文章标签：算法计算机视觉人工智能

于 2023-12-15 09:01:47 首次发布

本文链接：https://blog.csdn.net/zl201110/article/details/135008226

版权

摘要：大气散射模型（ASM）是描述模糊图像成像处理最广泛使用的模型之一。然而，我们发现ASM具有内在的局限性，这导致恢复结果的影响很小。本文通过在ASM中引入一个新的参数，即光吸收系数，获得了一种增强型ASM（EASM），它可以解决昏暗的效果，更好地模拟室外朦胧场景。基于这种EASM，开发了一种简单而有效的基于灰度世界假设的IDE技术，以提高模糊图像的可见性。实验结果表明，IDE消除了昏暗效应，表现出优异的除雾性能。值得一提的是，IDE不需要任何训练过程或与场景深度相关的额外信息，这使得它非常快速和健壮。此外，IDE中使用的全局拉伸策略可以有效地避免恢复结果中的一些不良影响，例如，过度增强、过度饱和和薄雾残留。所提出的IDE与其他最先进技术之间的比较揭示了IDE在除雾质量和效率方面优于所有可比技术。

一、介绍

雾是现实世界中常见的自然现象，它会严重降低对比度并改变图像的固有颜色，尤其是在恶劣天气下拍摄的室外场景。这些在朦胧条件下拍摄的低对比度图像通常不包含足够的信息保证视觉系统[1]、[2]的正确操作。因此，稳健高效的图像去雾技术对于去除不良影响和重建模糊信息至关重要恢复模糊图像最直观的方法是通过传统的增强方法局部或全局增加其对比度[3]-[7]。然而，这些方法忽略了模糊图像的物理退化过程，因此恢复结果的视觉质量有限。为了弥补这一不足，提出了融合可见性增强技术[8]-[10]。在这些作品中，通过使用两种或多种传统方法，将模糊的输入图像首先转换为具有不同属性的多个增强图像。然后，根据雾度相关特征，使用拉普拉斯金字塔表示将这些增强图像混合为高度动态的结果。[11]-[14]中提出的另一种解决方案是基于大气散射模型（ASM）[11]，它们通过充分利用附加信息产生高质量的结果。令人遗憾的是，这些方法需要额外且高成本的前提，从而限制了它们在许多应用中的实用性。

在过去的几十年里，我们见证了单图像除霾的重大进展。一般来说，目前可用的方法可以分为两组：基于先验的技术和基于学习的技术。

A.基于先验的技术

这些方法[17]–[30]的核心思想是利用潜在的先验知识来降低场景深度的不确定性，以估计成像参数，然后通过ASM恢复无雾度的结果。例如，[17]中提出了暗通道先验（DCP）来检测模糊图像的雾度分布。给定雾度分布，可以通过细化初始透射来获得真实的无雾度结果。在[18]中，根据一个关键观察结果实现了雾度去除，即雾度图像和场景反照率之间的最小通道中存在线性关系。根据先前的雾度线，Berman等人[19]，[20]将除雾任务公式化为能量最小化问题。在[21]中，提出了伽马校正先验（GCP）来合成模糊图像的虚拟变换，随后通过提取场景来设计全局去雾从这种深度的转换和朦胧的图像。为了实现亮度和对比度的平衡，刘等人[22]将雾度去除问题重新表述为亮度重建方案。同样，Bui等人[23]通过联合考虑对比度和过饱和度，开发了一种基于彩色椭球体的图像去雾技术。Ju等人[24]提出了一种贝叶斯方法，通过融合多个图像先验来对单个图像进行雾度去除。在[25]中，设计了一种基于超像素的策略来实现模糊图像的雾度去除。

B.基于学习的技术

根据颜色衰减先验（CAP），朱等人[31]构建了一个场景深度的线性模型，然后通过监督回归确定该模型中的参数，从而从单个输入图像中恢复无雾的结果。

与[31]不同，随后的基于学习的方法[32]-[42]通过使用机器学习进行自学习或合并雾度相关特征来实现除雾。例如，受众所周知的图像先验的启发，提出了一种称为DehazeNet[32]的基于卷积神经网络（CNN）的系统来实现端到端的图像去雾。在[33]中，建立了多尺度CNN（MSCNN），通过学习更多特征来提高恢复性能。随后，通过对ASM进行公式化，设计了一个一体化的Dehazing网络（AoD-Net）[34]，可以减少参数估计中累积的误差。为了更好地处理真实世界的模糊图像，通过真实世界的户外训练了一种基于DCP损失的无监督除雾架构[35]。在[39]中，提出了一种称为HRGAN的生成对抗性网络，由生成器网络和鉴别器网络组成，以实现视觉雾度去除。在[40]中，提出了一种名为GridDehazeNet的可训练CNN，由预处理、主干和后处理模块组成，用于单图像去雾。为了恢复双眼模糊图像对，Pang等人在[41]中开发了双眼图像去雾网络（BidNet），该网络可以探索双眼图像对之间的相关性，以提高恢复质量。为了在真实世界的图像上获得更好的去雾性能，Shao等人[42]设计了一个领域自适应框架，该框架包含一个翻译模块和两个去雾模块

尽管上述技术可以在一定程度上排除模糊图像中的雾翳覆盖，但它们缺乏清晰揭示去雾场景的细节和纹理的能力，尤其是对于近距离场景。目前有两种策略用于解决这一模糊效应问题。第一种策略[20]是采用后处理算子来提高全局对比度。其主要优点是效率高，但这种操作可能会破坏图像结构并在恢复结果中引入彩色投影。另一种策略[24]，[43]，[44]图1。在两个示例图像上比较众所周知的DCP和所提出的IDE。

左图：模糊图像。中间：通过DCP脱氮的结果。右图：通过IDE进行除雾处理的结果。

基于对不均匀照明的观察，通过将ASM中的全局大气光重组为矩阵形式的局部照明来消除昏暗效应。然而，由于重新定义的ASM具有更高的不确定性，计算开销不可避免地增加.

本文发现，观测到的暗淡效应主要是因为ASM没有考虑到与纹理密度和场景深度相关的光捕获现象。为了弥补这一限制，引入了一个新的参数，即光吸收系数来改善ASM。具有增强鲁棒性的新型ASM（EASM）可以解决这种暗淡效应，并更好地模拟模糊场景的成像过程。在此基础上，开发了一种快速图像处理技术IDE，实现了对单个模糊图像的去雾和曝光。具体来说，首先通过将灰色世界假设应用于EASM，推导出了传输的超越方程。为了降低计算复杂度，通过将TE中的对数函数替换为拟合有理函数，将TE转换为一元二次方程，从而使传输直接可解。最后，设计了全局拉伸策略（GSS）来搜索唯一未知的常数，即整个图像中的最小透射值，从而通过EASM恢复高质量的无雾结果。作为一个例子，所提出的IDE和众所周知的DCP[17]在两个示例图像上的比较如图1所示。

二、增强大气散射模型

A.大气散射模型（ASM）的局限性

在计算机视觉和计算机图形学中，大气散射模型（ASM）[11]被广泛用于描述单个模糊图像的退化过程。在数学上，它的模型如下：

I(x, y) = A · ρ(x, y) · t(x, y) + A · (1 − t(x, y)), (1)

其中I是雾图像，A是假设为常数的大气光，ρ是场景反照率（无雾图像），t是介质透射。当悬浮在大气中的颗粒的分布在空间上是均匀的时，传输t可以表示为：

其中，d和β分别是场景深度和散射系数。在ASM中，右侧的第一个术语用于描述雾度引起的场景反射光的直接影响。该项被命名为“直接衰减”，并随着场景深度d呈指数衰减。第二项称为“空气光”，随着场景深度d[21]而增加。

如引言中所述，基于ASM的去雾技术可以恢复大多数单雾图像的无雾效果，但恢复场景总是显得过于昏暗。事实上，尽管入射的大气光是恒定的，但它在不同的场景中具有不同的照明效果，因为光可以在纹理中被捕获/吸收，并且光吸收率随着纹理密度的变化而变化。

在[45]中，光捕获是通过在石墨烯上引入无序的纳米结构来实现的，这在微观水平上提高了光吸收率。同样，在宏观上，我们发现纹理密度越高，光吸收率也越大。与无雾图像中的长距离场景相比，短距离场景具有更丰富的纹理，对光的吸收更强（光会衍射、散射并被困在空腔中）。假设光吸收系数为α∈（0，1]），则反射光为（1−α）·A·ρ，其具有较低的.

为了说明ASM的缺点，从现实世界中收集了六种不同类型的模糊图像，并通过基于ASM的技术进行去雾处理，即DCP[17]和LT[18]。

图2。使用从现实世界中收集的六种不同类型的样本图像说明ASM造成的暗淡效果。第一排：模糊图像。第二行：DCP和LT恢复的场景反照率。第三行：使用Retinex恢复的真实场景反照度。最下面一行：随着场景深度d的变化。

模糊图像和恢复的场景反照率（ρASM）如图2的第一行和第二行所示。随后，将Retinex[46]应用于去雾结果，以抑制图像中不均匀照明引起的失真，从而获得真实场景的反照率（ρreal）（图中的第三行）。2）。通过比较图2的第二行和第三行，可以观察到使用基于ASM的去雾技术恢复的结果似乎更暗，尤其是对于短距离场景。此外，为了定量证明场景深度和昏暗效果之间的关系，我们首先通过广泛接受的CAP[31]确定了深度图。然后，利用ASM建模的场景反照率的相对误差：