【论文学习笔记】Burst Image Restoration and Enhancement

开篇

最近突然想用之前一篇论文的算法，找了很久才找到，之前在本地记得笔记也比较混乱，查找起来很麻烦。于是下决心在CSDN上记录自己的论文阅读笔记，顺便还可以分享出去，和大家交流探讨。希望可以坚持下去，加油！

论文信息

原论文：论文链接
源码：代码链接

文章概要

手机相机的局限性影响了了拍摄图像的质量。例如，小传感器尺寸限制了空间分辨率，小透镜和孔径在低光条件下提供了噪声和颜色失真的图像。类似地，小像素腔积累较少的光，因此产生低动态范围。
为了缓解这些问题，连拍（多帧）摄影是一种自然解决方案，而不是单帧处理。突发成像的目标是通过合并来自快速连续捕获的同一场景的（降级）帧集合的期望信息来合成高质量图像。然而，突发图像采集也面临着自身的挑战。例如，在图像突发捕获期间，相机和/或场景对象中的任何移动都将导致未对准问题，从而导致输出图像中的重影和模糊伪影。因此，迫切需要开发一种对对准问题鲁棒且不需要特殊突发捕获条件的多帧处理算法。
针对此，本文开发了一种新的方法，只关注突发帧之间的有效信息交换，从而在保留和增强实际场景细节的同时过滤掉退化。其中心思想是创建一组伪突发特征，将来自所有输入突发帧的互补信息组合起来，以无缝交换信息。由于要创建高质量的伪突发图像，就必须对齐各个突发帧来抵消帧间移动。因此，本文最初从每个突发帧中提取预处理的特征，并使用边缘增强突发对齐模块来匹配它们。然后使用多尺度上下文信息创建和丰富伪突发特征。最后一步是自适应地聚合来自伪突发特征的信息，以在合并伪突发特征时在多个阶段逐步提高分辨率。
实验证明，所提出的BIPNet在突发超分辨率、微光图像增强和突发去噪任务的合成和真实基准数据集上取得了最先进的结果。

所提出的BIPNet如图所示，它将RAW图像突发作为输入，并生成高质量的RGB图像。BIPNet有三个关键阶段。（1） 边缘增强特征对齐，以消除噪声、帧间空间和颜色错位。（2） 伪突发特征融合机制，以实现帧间通信和特征合并。（3） 自适应组上采样，以在合并多帧信息的同时逐步提高空间分辨率。

网络细节

特征处理和对齐

为了将突发中的其他图像与基本帧（为简单起见，通常是第一帧）对齐，本文提出了一种基于调制可变形卷积的对齐模块。然而，现有的可变形卷积并没有明确地设计用于处理有噪声的RAW数据。因此，本文提出了一种特征处理模块来减少初始突发特征中的噪声。本文的边缘增强特征对齐（EBFA）模块由特征处理和突发特征对齐组成。对齐模块和特征处理模块如下图所示。

其中，边缘增强特征对齐（EBFA）模块将输入突发中的所有其他图像对齐到基本帧。EBFA中添加了特征处理模块（FPM）来对输入帧进行去噪，以方便对齐。乘号表示矩阵乘法。
如图所示，所提出的特征处理模块（FPM）采用残差学习中的残差，这允许丰富的低频信息通过跳过连接轻松传递。由于捕获提取全局场景财产的长距离像素相关性对于广泛的图像恢复任务（例如，图像/视频超分辨率和极端微光图像增强）是有益的，因此本文使用全局上下文关注（GCA）机制来细化残余块产生的潜在表示。这个全局上下文感觉是先将特征图展开做一个自注意力，获取全局特征之间的相关性，再利用通道挤压和膨胀（类似通道注意力机制）来建模通道之间的相关性，最后将得到的结果（类似于偏置）加到输入特征上输出。（纯属个人理解！！！）
为了有效地融合来自多个帧的信息，需要首先对齐这些帧级特征。以当前帧y1的特征与基础帧y对齐为例。EBFA通过偏移卷积层处理yb和ybr，并预测yb的偏移∆n和调制标量∆m值。之后将当前帧y1、偏移∆n、和调制标量∆m输入可变形卷积中对当前帧进行对齐。对于可变形卷积的细节，可以参考这篇论文：Deformable conv。
该对齐模块有以下特点：它不向对齐模块提供显式的Ground truth监督，而是学习执行隐式对齐。此外，为了加强特征对齐并纠正较小的对齐误差，使用FPM获得了精细对齐特征（RAF），然后通过获取RAF和基本帧特征之间的差异来计算高频残差，并将其添加到RAF中。尽管左图中只显示了一次可变形卷积，为了简洁起见，实际中顺序应用了三个这样的层来提高EBFA模块的转换能力。

突发特征融合模块

现有的突发图像处理技术分别提取和对齐突发图像的特征，并且通常采用后期特征融合机制，这会阻碍帧之间的灵活信息交换。相反，本文提出了一种伪突发特征融合（PBFF）机制，如图所示。该PBFF模块通过从所有突发特征映射中串联相应的信道方向特征来生成特征张量。因此，伪脉冲串中的每个特征张量包含所有实际脉冲串图像特征的互补的固有联系。处理突发间特征响应简化了表示学习任务，并通过解耦突发图像特征通道来合并相关信息。即使在生成伪脉冲串之后，获得它们的深度表示也是必不可少的。本文使用轻量级（3级）U-Net从伪突发中提取多尺度特征（MSF）。同时在U-Net中使用共享权重，并使用FPM而不是常规卷积。

如图，（a）伪脉冲串是通过跨帧交换信息生成的，使得伪脉冲串中的每个特征张量都包含所有帧的互补特征。利用（共享）U-Net处理伪突发以提取多尺度特征。（b） AGU模块分组处理伪突发特征，并逐步执行放大。（c） 基于密集注意力的上采样器示意图。

自适应组上采样模块

上采样是从LR特征图生成超分辨率图像的最后一个关键步骤。现有的突发SR方法使用像素混洗层在一个阶段中执行上采样。然而，在突发图像处理中，可以有效地利用多帧中可用的信息来进入HR空间。为此，本文建议在上采样阶段自适应地逐步合并多个LR特征。例如，一方面，为了在帧之间执行去噪，对于无纹理区域具有统一的融合权重是有益的。另一方面，为了防止重影伪影，希望对任何未对齐的帧具有低融合权重。如图显示了所提出的自适应组上采样（AGU）模块，该模块将伪脉冲串融合模块生成的特征图S作为输入，并通过三级渐进上采样提供超分辨率输出。在AGU中，本文顺序地将伪突发特征分成4组，而不是遵循任何复杂的选择机制。这些特征组使用图中所示的架构进行上采样。在图中的子图（c）忠，首先计算密集注意力图，携带每个像素位置的注意力权重。密集注意力图按元素应用于各个突发特征。
为了执行比例因子×4的突发SR，实际上需要×8上采样（额外的×2是由于马赛克RAW LR帧）。因此，在AGU中，本文采用三级×2上采样。因为，BIPNet生成64个伪脉冲串，这自然分别在I、II和III级形成16个、4个和1个特征组。每个级别的上采样器在组之间共享，以避免网络参数的增加。

实验结果

超分

低光增强

去噪

结束~