【低光去噪】Learnability Enhancement for Low-Light Raw Image Denoising: A Data Perspective

1. Motivation

Learning-based方法是低光RAW图像去噪的主流解决方案，其标准范式是学习配对数据之间的映射。有限的数据量、复杂的噪声模型和不完善的数据质量构成了配对数据之间映射的可学习性瓶颈，限制了learning-based方法的性能。

2. Contribution

• 提出了低光RAW图像去噪的可学习型增强的思想，从数据的角度出发，基于噪声建模重构真实配对数据
• 提出了SNA（散射噪声扩充）用于增加真实配对数据的数据量
• 提出了DSC（暗阴影矫正）减小了噪声的复杂度
• 提出了高质量的数据采集流程，并建立了一个低光RAW图像去噪数据集

3. Methods

简化的噪声模型：光子散射噪声 + 读出噪声（时间稳定的暗阴影+时间变化的读出噪声）

整体框架：DSC + SNA

对于DSC，由于dark shading是时间不变的噪声成分，因此很自然地想到可以提前标定好，在训练和推理之前减去该成分，从而减小噪声复杂度；
对于SNA，由于真实配对数据毕竟是有限的，不能涵盖真实应用场景中的不同照度环境，并且在数据规模不大的情况下使用数据增强一般能够稳定提升神经网络的性能，在带噪声图像和干净图像上添加相应的增量能够显著增加真实配对数据的数据量。

上图为应用了SNA和DSC的可学习型增强映射。

3.1 SNA

SNA的本质是增加配对数据在场景照度上的多样性，而照度决定了传感器接收的光子数，因此SNA是一种基于光子散射噪声模型的数据增强方法。 因为不需要考虑噪声的变化，干净图像的增量ΔD容易求解，乘值或除值后的干净图像与原始干净图像的差即为ΔD，那么需要做的就是建立ΔN与ΔD之间的关系，论文中给出了推导过程：

此处存在一个问题，由于泊松分布的变量具有可加性，但是不具备可减性，因此SNA只能使图像变亮而无法变暗，因此限制了其在低光场景中的增强能力。作者补充了一种获取极暗光配对数据的解决方案，其思想是：既然只能变亮，那就从最暗的情况（黑帧）慢慢变亮，这样就能覆盖到极暗光场景了。

SNA需要遵循以下原则：

• ΔD非负，确保能够应用泊松采样（干净图像Dc的gain值大于1即可）
• 不会引入颜色偏差和大规模过曝

SNA的流程如下：

3.2 DSC

DSC能够降低映射复杂度，增强真实配对数据之间的映射关系的可学习性。如下图，在减去dark shading后，对噪声图像映射后的数据期望与target更接近，对于神经网络来说也更容易拟合。

为什么不用神经网络去拟合dark shading？
Dark shading由空间变化的黑电平误差BLE和空间不变的固定模式噪声FPN组成，CNN是局部算子的集成，在缺乏全局信息的情况下无法完全移除FPN。有的同学就会说了，那用transformer呀，emmm，高分辨率输入的transformer是真的很难落地呀:(

Dark shading的建模过程： Dark shading是由BLE和FPN组成，FPN又能分为dark current FPN和offset FPN，分别在amplifier之前和之后产生，因此FPN可以由下式表示：
Dark shading可以建模为：
作者通过实验分析说明了FPN与曝光时间t之间不存在明显的线性关系，而BLE与t存在明显的线性关系，且其斜率和iso之间也存在线性关系，因此BLE可以表示为：
BLE与曝光时间t、iso的线性回归：

darkshading线性模型参数估计流程：
1）先标定BLE，在每个ISO以及可能的曝光时间下采集一张黑帧，计算整张黑帧的均值作为BLE，然后估计线性模型的参数；
2）设置曝光时间为1/40秒，采集黑帧，在不同的iso下平均多张黑帧得到$N_{ds}$
3） 在$N_{ds}$的基础上减去BLE，然后估计$N_{FPNk}$和$N_{FPNb}$

3.3 gt估计流程

4. Comments

SNA是对真实配对数据的一种增强，使用起来有一定的局限性；相比较而言，DSC建模的应用更为广泛一些。

Reference

[1] Learnability Enhancement for Low-light Raw Denoising: Where Paired Real Data Meets Noise Modeling
[2] 【ACMMM 2022】PMN论文解读与复现
[3] 【TPAMI 2023】数据视角下的低光去噪可学习性增强