其中I (x)为有雾图像，J (x)为对应的干净图像。变量A和t (x)分别为全球大气光图和透射图。传输图t (x) = e βd (x)取决于场景深度d (x)和雾霾密度系数β。
给定一个有雾的图像，恢复它干净的版本是高度不适的。为了缓解这一问题的病态性，在现有的传统方法中提出了各种先验，如暗通道先验[18]、颜色衰减先验[50]和颜色线[13]。然而，统计先验不能涵盖现实世界场景中的不同情况，导致次优的脱雾性能。
随着深度学习的出现，图像去模糊处理取得了显著的进展。现有的方法要么采用深度网络估计物理参数[6,25,35]，要么直接恢复无雾图像[11,17,31,34,45]。然而，图像去模糊神经网络由于难以收集大规模但完全对齐的配对训练数据，并在没有鲁棒先验的情况下解决不适定问题的不确定性，因此难以推广到真实场景。具体地说，1)收集大规模的、完美对齐的模糊图像是非常困难的，如果不是不可能的话。因此，大多数现有的深度模型使用合成数据进行训练，其中模糊的图像是使用等式生成的(1)，导致忽视了多种降解因素。有一些真实的模糊图像数据集[2,3]与配对数据，
但大小和多样性还不够。
此外，这些数据集偏离了在野外捕获的模糊图像
Moreover, these datasets deviate from the hazy images captured in the wild。这些缺点不可避免地地降低了
深度模型在真实场景中的应用能力。2)真实的图像去模糊是一个高度不适的问题。一般来说，
解决一个不确定的映射问题往往需要先验的支持。然而，很难获得能够覆盖真实模糊图像的不同场景的鲁棒先验，这也限制了去模糊算法的性能。近年来，许多关于真实图像去模糊的
研究试图从数据生成[37,44]或先验指导[8,27]的角度，通过领域自适应来解决这两个问题，但仍不能获得理想的结果。
在这项工作中，我们提出了一个新的范式的真实图像去模糊动机解决上述两个问题。为了获得大规模的、完美对齐的配对训练数据，我们通过观察大量真实的模糊图像来重新考虑模糊图像的退化，并提出了一种考虑多种退化因素的新的数据生成管道。为了解决不适定问题的不确定性，我们尝试在高质量图像上训练一个VQGAN [12]，以提取更鲁棒的高质量先验（HQPs）。VQGAN只学习高质量的图像重建，因此它自然地包含了鲁棒的hqp，可以帮助模糊的特征跳转到干净的域。4.1节中的观察进一步验证了我们的动机。因此，我们提出了通过高质量的码本先验（RIDCP）的真实图像去模糊网络。VQGAN的码本和解码器被固定下来，以提供hqp。然后，RIDCP配备了一个编码器，以帮助找到正确的hqp，和一个新的解码器，利用来自固定解码器的特征，并产生最终的结果。此外，我们提出了一种新的归一化特征对齐（NFA），它可以减轻失真和平衡特征，以获得更好的融合。
与以往引入码本进行图像恢复的方法[7,16,48]相比，我们根据VQGAN的特征和统计结果，进一步设计了一种独特的实域自适应策略。直观地说，我们提出了可控制的HQPs匹配（CHM）操作，该操作通过在推理阶段对特征和HQPs之间的距离施加精心设计的权重来取代最近邻匹配。权重由一个可控参数α和Sec中HQPs激活的统计分布间隙决定。4.3.通过调整α，可以改变HQPs激活的分布。此外，我们提出了一个理论上可行的解，通过最小化两个概率分布的库尔贝克-勒伯散度来得到α的最优解。更重要的是，α的值可以直观地反映为如图1(d)所示的增强程度，并且用户可以根据自己的喜好调整脱雾结果。我们的CHM是有效的，灵活的，和可解释的。
图1.对典型模糊图像的视觉比较。该方法比其他两种最先进的真实图像去模糊方法产生更干净的结果。在实域适应阶段采用不同的参数可以灵活调整结果的增强程度。带有金色边框的图像是在我们推荐的参数下得到的结果。
与目前最先进的真实图像去模糊方法，如DAD [37]和PSD [8]方法相比，只有所提出的RIDCP才能有效地处理在野外捕获的模糊图像，同时生成可调的结果，如图1所示。我们的工作的贡献可以总结如下：
• 我们提出了一种新的范式，将基于深度学习的图像去模糊的前沿推向真实场景。
• 我们是第一个在真实图像脱模糊任务中利用高质量的码本先验。为了克服合成域与实域之间的差距，提出了可控的匹配操作，产生可调结果。
• 我们重新建立了真实模糊图像的退化模型，并提出了一个现象学退化管道来模拟在野外捕获的模糊图像。
2. Related Work
2.1. Single Image Dehazing
图像去雾。早期的单图像去模糊的尝试考虑估计等式中提出的大气散射模型的参数(1)通过对无雾图像[5,13,18,40,50]的研究，这些方法取得了令人印象深刻的效果。然而，基于经验观察的手工制作的先验很难在不同的场景中表现良好。例如，DCP [18]的假设在天空区域是不可用的。所提出的方法通过在大规模数据集上对离散码本进行预训练来获得高质量图像的先验，从而更加可靠和全面。
随着深度学习技术的发展，如何利用数据驱动的意识形态来消除雾霾得到了广泛的关注。在早期阶段，许多研究[6,25,35]试图采用卷积神经网络（CNNs）来估计等式中退化模型的参数 (1).此外，为了避免参数估计中的累积误差，提出了一些端到端网络[11,17,31,34,45]来直接估计无雾霾图像。上述基于学习的方法在合成数据集上取得了良好的性能。然而，他们的重要现实世界数据的性能下降迫切需要解决。
真实的图像去雾。最近，一些作品关注真实的图像去模糊。其中一条研究方向是利用GANs [15]来生成适合真实雾霾域的模糊数据。Shao等人[37]设计了一种基于CycleGAN [49]框架的域适应策略。Yang等人[44]提出了一个名为D4的未配对脱模糊框架。它可以估计模糊图像的场景深度，生成不同厚度的模糊数据，有利于去模糊模型的训练。然而，
gan很容易在生成的结果中产生伪影，这对训练模型有害的。另一个研究方向是
通过损失函数或网络架构来引入先验知识。Li等人[27]提出了一种半监督管道，采用基于先验的损失函数在真实数据集上训练网络。PSD [8]在预先训练的脱雾模型上增加了一个基于
物理的子网络，并进一步提出了一个预先损失委员会，以无监督的方式对真实数据进行微调。然而，直接使用
手工制作的先验并不能避免基于先验的方法的固有缺陷。在我们的研究中，我们通过提出一种新的
数据生成管道和利用潜在的高质量的先验，来研究克服这两种类型的真实图像去模糊方法的弱点。
2.2. Discrete Codebook Learning
最近，在VQ-VAE [41]中提出了一个向量量化的自动编码器框架，该框架在潜在空间中学习一个离散码本。离散表示有效地解决了自动编码器[21]架构中的“后向崩溃”问题。VQGAN [12]通过引入码本学习中的敌对监督，进一步提高了重构结果的感知质量。学习到的离散码本有助于提高许多低级视觉任务的性能，包括人脸恢复[16,48]和图像超分辨率[7]。Gu等人[16]将矢量量化技术引入到人脸恢复中，并设计了一个并行解码器，以实现视觉质量和保真度之间的平衡。Zhou等人的[16]将盲脸恢复作为一个代码预测任务，并提出了一种基于变换的预测网络来替代最近邻匹配操作，以更好地匹配相应的代码。FeMaSR [7]将离散码本学习扩展到盲超分辨率。由于这些方法令人兴奋的性能，我们是第一个利用高质量的码本先验进行真实图像去模糊的人。提出了一种新的、可控的hqp匹配操作，以进一步弥合合成数据与真实数据之间的差距，这对于真实场景是不可避免的。
3. Data Preparation for Real Image Dehazing 真实图像去雾的数据准备
重新设计数据生成管道已被证明是解决现实世界中低级视觉任务[42,43,46]的有效方法。在此基础上，我们在合成成对数据训练脱雾网络时，考虑了各种退化因素，可以缓解与真实数据的域差距。为了简洁起见，我们表示等式(1)如I (x) = P (J(x)、t (x)、A）。模糊图像的形成可以写成：
等式的细节(2)具体介绍如下：
光线条件较差。γ∈[1.5,3.0]是一个亮度调整因子，N是高斯噪声分布。这两个组件可以模拟在雾霾天气中经常发生的恶劣光照条件。
传输地图。作为退化模型中的一个关键参数，我们采用深度估计算法[20]来估计深度图d (x)，并使用β∈[0.3,1.5]来控制雾霾密度。
多彩的雾霾。为了获得不同的模糊图像，我们考虑了大气光的颜色偏差，并由三通道矢量∆a∈实现[−0.025,0.025]。A的范围在[0.25,1.0]的范围内。
JPEG压缩。我们观察到去雾化算法放大了JPEG伪影。最好在脱雾时去除这些工件。JPEG（·）表示最终结果中的JPEG压缩。
我们选择了500张干净的图像来构建成对的数据，并在训练阶段动态生成模糊的数据。此外，低光和JPEG压缩以50%的概率出现在拟建的管道中。
4. Methodology
我们工作的关键思想是采用一个离散的码本，将高质量的先验（HQPs）引入到脱雾网络中。所提方法的总体框架如图2所示。训练阶段可分为两个阶段。在第一个训练阶段，我们对高质量数据进行预训练，获得一个潜在的离散码本Z与HQPs和对应解码器Gvq (Sec。4.1).在第二阶段，我们基于预先训练的VQGAN的RIDCP被训练在由提出的合成管道的模糊图像生成(秒。4.2).此外，为了帮助网络找到更准确的代码，我们提出了一种基于在高质量图像上的代码激活分布的可控调整特征匹配策略。4.3).此外，培训目标的细节可以在补充材料中找到。
图2。我们的RIDCP的概述。在训练阶段，我们根据数据生成管道合成的数据来训练去雾网络，如(a).所示该网络基于预先训练的HQPs码本和VQGAN相应的解码器Gvq。通过重新计算特征与HQPs之间的距离dˆz k=||zˆ−zk||，设计了真实域自适应的可控HQPs匹配（CHM）操作。(b)表示用两个Voronoi图重新计算的距离，其中彩色单元表示属于更好的hqp，灰色单元表示反之亦然。三角形表示特征，星形点表示hqp。可以看出，在距离重新计算后，原本属于灰色细胞的点被我们的CHM强制分配给彩色细胞。
4.1. Latent Codebook for High-quality Priors 针对高质量优先级的潜在密码本
我们首先简要介绍VQGAN的工作原理。给定一个高质量的图像patch x，它是VQGAN编码器Evq的输入，相应的输出是潜在特征zˆ。然后将zˆ的每个“像素”zˆij与码本Z∈RK×n中最近的hqp进行匹配，得到离散表示法z q ij，可以写成：
其中，K为码本大小，n为zˆ的信道数，M（·）表示匹配操作。最后，用Gvq重构输入x：
其中，x‘是重建的结果。
观察结果1。为了了解编码本中hqp的潜力并更好地利用它，我们对预先训练过的VQGAN重建的结果进行了一些观察。如图3所示，我们的VQGAN可以去除薄的雾，为模糊的输入恢复无需微调的生动的颜色。我们分析了，以匹配的方式使用hqp可以取代退化的特征，从而帮助它跳转到高质量的领域。但是，由于难以匹配正确的代码，VQGAN的脱雾能力受到了限制。此外，由于矢量量化阶段的信息丢失，产生了一些失真纹理。因此，直接采用Gvq中的特征是次优的。很直观，我们的下一步是训练一个可以帮助先验匹配的编码器E，以及一个解码器G，它可以利用从hqp重建的特征。
图3。结果由预先训练好的VQGAN重建。雾霾被去除，但引入了扭曲的纹理。
4.2. Image Dehazing via Feature Matching 4.2.通过特征匹配进行图像脱雾处理
根据在Sec中的观察。4.1，图像去模糊化被解耦为两个子任务：匹配正确的代码和消除纹理失真。
HQPs匹配的编码器。我们采用SwinIR [29]，它展示了其强大的图像恢复特征提取能力来设计我们的编码器e。具体来说，浅层特征提取头由一堆残差层[19]和4个×下采样特征组成。然后跟踪4个剩余的双子变压器块[32]，作为深度特征提取模块。
具有规范化特征对齐的解码器。我们提出了归一化特征对齐（NFA）来帮助解码器利用从hqp重建的特征。首先，由于向量量化歌剧带来的信息损失，VQGAN倾向于降低结果的保真度tion [16, 48].我们的解决方案是在hqp匹配前通过特征的引导来消除失真。具体来说，在第一层中，我们采用可变形卷积[10]将Gvq的特征F i vq与G的特征Fi对齐，可以写为：
其中F i w为翘曲后的特征，DCONV为可变形的卷积层。CONV是进行偏移量生成的卷积层。此外，我们注意到F i w和Fi的值的比值并不稳定，导致了一个不充分的组合。因此，我们通过迫使它们在相同的数量级来平衡它们的贡献，这可以写成：
4.3.Controllable HQPs Matching Operation 可控制的hqp匹配操作
观察结果2。我们的RIDCP在E和g的帮助下取得了相对令人满意的结果。然而，在一些具有挑战性的真实数据中仍然存在一些局限性，例如，低色饱和度。而不是hqp已经显示出了很强的重建生动结果的能力（见观察1），主要原因是难以找到正确的hqp，这是由于合成数据和真实数据之间的领域差距造成的。虽然我们的合成管道比以前的工作[26,47]大大减少了域间隙，但我们的管道仍然不可能覆盖所有真实世界的模糊条件。
为了证实我们的主张，我们作出了如下观察。我们随机收集200张高质量的干净图像作为预先训练好的VQGAN的输入，并计算每个代码的激活频率fc∈RK。同样，将200张真实的模糊图像输入去模糊网络，计算频率fh∈∈。图4显示了fh和fc之间最大差异的代码的激活频率。我们可以看到一个显著的分布变化。观察结果表明，不可避免的域间隙导致了hqp的发散匹配。因此，hqp仍有尚未被探索的潜力。
图4。在不同的情况下的代码激活频率。“去雾”表示将真实的模糊图像输入到去雾网络中，“干净”表示将干净的图像输入到预先训练好的VQGAN网络中。“调整”表示我们的RIDCP在推荐的参数下配备了CHM，具有真正的模糊输入。
通过距离重新计算进行控制匹配。基于以上观察，当遇到真实的模糊图像时，即在清晰图像上的高频先验时，匹配更好的hqp是不可缺少的。有两个组件可以影响HQPs的匹配，即编码器E和匹配操作M（·）。由于在没有参考图像的情况下，很难对真实的模糊图像进行重新训练，因此定义一个新的匹配操作M‘（·）听起来像是一个合理的解决方案。我们提出了可控的HQPs匹配（CHM），它通过在匹配阶段分配不同的权重来重新计算距离。CHM可以写成：
其中F（f˜k，α）是基于频率差f˜k = fh k−fc k并由参数α调整并生成权重的函数。F的设计有三个目标： 1)由于较高的˜˜意味着需要较少的激活，˜和˜˜应该是单调的，从而确保一致的趋势调整。2) F（0，α）≡1，使在清晰和模糊的数据上具有相同频率的hqp不进行调整。3)调节的程度可以由α单调地控制，例如，∀f˜1 > f˜2，∀α1 > α2→F（f˜1，α1）F（˜f2，α1）>F（˜f1，α2）F（˜f2，α2）。巧合的是，指数函数具有这些性质，因此F可以表示为；
推荐的α的可能的解决方案。我们的方法能够基于上述策略来控制hqp的匹配。最终的目标是找到一个合适的α来使网络适应真实的域。根据大数定律，频率fc k、fh k可以代替相应的概率Pc（x = zk）、Ph（x = zk|α）。脱雾结果与干净域之间的差距可以用两个概率分布之间的差值来表示。因此，将实域自适应问题转化为计算一个最优参数ˆα，该参数可以最小化Pc（x = zk）和Ph（x = zk|α）的前向库尔回-雷伯散度，这也是最大的α的似然估计：
我们使用一个二元搜索算法来迭代地寻找ˆα的近似最优解。最终的测定结果为ˆα=21.25，较高精度的计算对结果影响不大。请注意，ˆα可能不是所有情况下的确定选择。用户可以根据用户的喜好灵活调整α。
5. Experiments
5.1.数据集
High-quality Datasets. 为了从预先训练过的HQPs中获得高质量的结果，VQGAN需要在包含高分辨率和纹理清晰度图像的大规模数据集上进行训练。在我们的工作中，我们使用DIV2K [1]和Flickr2K[30]（包含4250张图像）来训练第一阶段。这两个数据集都被广泛应用于高质量的重建任务[7,28,29]。
Real Haze Datasets. 我们在RTTS数据集[26]上对我们的模糊网络进行了定性和定量的去模糊网络评估，该数据集包含超过4000张真实的模糊图像，具有不同的场景、分辨率和退化问题。此外，我们使用Fattal的数据集[13]，其中包括31个经典的真实模糊案例进行进一步的视觉比较。
5.2. Implementation Details
对于VQGAN和RIDCP的训练，我们都使用了带有默认参数的Adam优化器（β1 = 0.9，β2 = 0.99）。在训练阶段，学习率固定为0.0001，批量大小设置为16。对于数据增强，我们随机调整输入的大小并裁剪成256×256的大小，并以半概率翻转它。在第一个训练阶段，我们的VQGAN在DIV2K和Flickr2K上进行预训练，迭代350K。然后，利用所提出的合成管道生成的数据，对所提出的RIDCP进行10K次迭代训练。所有的实验都是在4个NVIDIA V100gpu上使用PyTorch框架实现的。本文还提供了由MindSpore框架实现的代码。
5.3. Comparison with State-of-the-Art Methods
我们比较了所提出的方法与几种最先进的脱雾方法的性能。本实验从定量和定性的角度进行了设计。此外，我们还进行了一个用户研究，以验证我们的方法的主观性能。
Quantitative Comparison.定量比较。由于在真实模糊的数据集中没有地面真实图像，我们使用一些非参考指标进行定量比较。我们首先采用雾感知密度评估器（FADE）[9]进行雾霾密度估计。此外，还包括两个广泛使用的图像质量评估指标，BRISQUE [33]和NIMA [39]。在RTTS数据集上使用两种去模糊方法（MSBDN [11]和Dehamer [17]）进行定量比较，这些方法在合成模糊图像数据集[26]和三种真实去雾方法（DAD [37]，PSD [8]，D4 [44]）上取得了优异的性能。结果如表1所示。所提出的RIDCP在BRISQUE和NIMA方面表现最好，分别提高了25.57%和1.86%。对于FADE，我们的方法排名第二，略低于PSD。然而，如图5所示，PSD往往会产生过度增强的结果，从而导致不准确的评估。总的来说，RIDCP在定量指标上取得了最好的结果，后续的实验将进一步证明我们的优越性。
Qualitative Comparison.定性比较。我们对RTTS和Fattal的数据集进行了定性比较，如图5和图6所示。我们可以观察到，Dehamer、MSBDN和D4不能很好地处理真实的模糊图像。PSD能产生良好的效果，但脱雾能力有限。DAD能有效地去除雾霾，但其结果存在颜色偏倚和暗色调。与其他方法相比，我们的方法在亮度、色彩度和雾霾残留物方面产生了最好的感知结果。更多的结果可以在补充材料中找到。
User Study.用户研究。我们进行了一个用户研究，以主观地评价所提出的方法与其他方法。我们从RTTS数据集中随机抽取100张图像进行比较，并邀请5名具有图像处理背景的专家和5名幼稚观察者作为志愿者。在用户研究之前，我们给了观察者三个提示： 1)主要关注的是雾霾是否被消除，特别是远距离内的密集雾霾。2)注意自然颜色是否恢复。3)一个好的方法应该能产生无伪影的结果。然后，将图像按组显示给观察者组。每一组都包含输入的图像和由不同的方法生成的结果。观察者需要在至少10秒的观察后选择最好的一个。我们统计每种方法的百分比，最终的分数列在表1中。所提出的RIDCP得分最高，远远领先于第二名，进一步证明了我们的方法具有优越的脱雾能力。
为了验证各关键部件的有效性，我们进行了一系列的消融实验。一般，我们在本节讨论CHM、NFA和现象学降解管道的有效性。
Influence of Adjustment Parameter. 调整参数的影响。实域自适应的程度由等式中的参数α控制(8)通过调整α，可以灵活地调整最终结果。因此，我们很好奇不同的α会有什么影响。如图7所示，α的值与图像增强效果属于线性关系。当α > 0时，可以产生更符合视觉愉悦甚至过度增强的结果。有趣的是，如果α向相反的方向调整，我们可以得到增强不足的结果。
图7：不同调整度下的结果。建议的CHM允许用户将增强程度从低（α =−60.0）调整到高（α = 60.0）。推荐的值（α = 21.25）有助于网络生成最自然的结果（被蓝色的方框所包围）。放大获得最佳视图。
Effectiveness of NFA. NFA的有效性。我们的NFA可以帮助去除由特征匹配导致的扭曲纹理，同时保持从hqp中重建的有用信息。NFA可分为两个关键部分：基于可变形卷积的翘曲操作和基于归一化的加法操作。为了分析每个部分的作用，我们提出了4种变体来取代NFA，即： 1)不进行任何融合操作。2）直接添加。3)无翘曲的标准化添加。4)扭曲和直接添加。图8显示了一组比较。在红盒子中观察草地区域，变异1的结果是黑暗和剩余的薄雾霾。变体2和4在某些区域也有非均匀的雾残留物。变体3产生了明显的伪影，因为强制将未对齐的特征规范化到相同的数量级，并将它们加在一起，会使网络难以训练。只有完整的NFA达到最好的亮度和雾霾去除。
Effectiveness of the Phenomenological Degradation Pipeline.
现象学降解管道的有效性。为了证明我们提出的配对数据生成的降解管道可以提高雾霾去除的能力，我们在两个广泛使用的合成数据集上重新训练了我们的RIDCP，分别是OTS [26]和Haze4K [47]。值得注意的是，Haze4K是由DAD [37]进行后处理的。此外，我们用基于变压器的Dehamer和基于cnn的MSBDN的合成数据替换了来自OTS的训练集，从而证明了它通常可以带来收益。比较结果如图9所示。我们可以观察到，我们的除雾网络并不能消除雾霾在OTS和Haze4K的培训下。此外，Dehamer和MSBDN可以产生更少的雾度和更高亮度的结果。然而，与我们的方法相比，它们在颜色恢复方面仍然存在困难，这也证明了hqp和我们的适应策略的有效性。
图9.建议的数据生成管道的消融结果。我们在OTS (b)和Haze4K (c)上对脱雾网络进行了再培训，以验证我们的发电管道的有效性。Dehamer和MSBDN也对我们的合成数据进行了再训练，这些标记为。
6. Discussion
结论
Conclusion在这篇论文中，我们提出了一个新的范式，以振兴深度去模糊网络向现实世界。我们提出的现象学退化管道合成了更真实的模糊数据，这在去除雾霾方面取得了显著的收益。基于我们的观察和分析，我们将VQGAN中的高质量先验引入到去雾网络中，并逐步利用它们的能力，最终通过高质量的码本先验（RIDCP）构建了我们真实的图像去雾网络。大量的实验表明了所提出的范式的优越性。
Limitations and Future Work. 局限性和未来的工作。在我们研究RIDCP的过程中，我们注意到仍有一些困难迫切需要解决。我们把这些挑战留在这里，希望未来的工作能够解决它们:
•现有的RIDCP等除雾方法不能很好地处理非均匀雾霾。
•基于增强时尚的脱雾是有限的。对极致密的雾霾的恢复应引入生成能力。
•我们发现在定量中，去雾方法很难作为基准。还需要稳健的指标来评估去雾结果的质量。
282
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
