【低光去噪】理解ELD（Physics-based Noise Modeling for Extreme Low-light Photography）

1. Motivation

对于极暗光环境下的图像去噪，存在以下亟需解决的问题：

• 噪声源没有被充分考虑到，导致现有的去噪方法在暗光环境下的性能大幅下降
• learning-based去噪方法依赖大量的配对数据，在暗光环境下获取高质量的配对数据尤为困难，因此无法推广至新的相机设备上

2. Contribution

• 建立了一个全面的噪声模型，可以准确地描述暗光环境下的真实噪声结构
• 提出了一种噪声参数标定方法，适用于任何给定的相机设备
• 收集了一个极暗光去噪数据集，用于验证所提噪声模型的有效性和通用性。

3. Methods

3.1 噪声模型建立

建立一个全面且准确的噪声模型，需要解决两个问题：

• 噪声模型由哪些噪声组成
• 噪声模型中的每种噪声成分服从何种统计分布

论文中，作者将原始图像形成的过程划分为3个阶段：从光子到电子、从电子到电压、从电压到数字信号，并逐一分析每个阶段引入的噪声源。

3.1.1 光子到电子：光子散射噪声

由于光的量子性质，探测器上接收到的光子数量存在不确定性，在连续的时间上，同一个像元接收到的光子数量存在随机波动，表现在图像上就是一种随机噪声，被称为光子散射噪声。现有研究已达成共识，光子散射噪声在时间上满足泊松分布的特征。

关于光子散射噪声，[2][3]解释的比较清晰透彻。

在光子到电子阶段还引入了其他一些噪声源，如光响应不均匀性和暗电流噪声，由于CMOS传感器设计和制造技术的进步，例如暗电流抑制，导致单反相机具有较低的暗电流和更好的光响应均匀性。因此假设恒定的光响应，并将暗电流噪声放到读出噪声部分。

关于暗电流噪声：在无光时产生的电流输出，因此是一种与信号无关的噪声。

3.1.2 电子到电压：读出噪声、条带噪声

当电子在探测器上的每个位置被收集到后，它们通常被整合、放大，并在曝光时间结束时读出为可测量的电荷或电压。在电子到电压阶段出现的噪声取决于所使用的电路设计和处理技术，因此被称为像素电路噪声，包括热噪声、复位噪声、源跟随器噪声和条带噪声。

为了简化分析，作者在噪声模型中考虑了热噪声$N_t$、源跟随器噪声$N_s$、暗电流噪声$N_d$和条带噪声$N_B$，将前三项合并为读出噪声，条带噪声单独考虑（因为条带噪声的分布明确）。

读出噪声

读出噪声通常被假设服从高斯分布，但是对噪声数据的分析表明其分布形状具有长尾性质，如下图所示。

基于无光环境下采集的黑帧生成概率图，可以看出数据的主体可能服从高斯分布（左列），同时也揭示了潜在分布的长尾性质；从$R^2$来看，Tukey-lambda分布的数值远高于高斯分布，说明与数据拟合程度更高。因此，采用Tukey-lambda分布模拟读出噪声：

这里假设读出噪声为零均值噪声，因此位置参数设置为0.

颜色偏差噪声

虽然零平均噪声假设在大多数情况下普遍适用，但作者发现在极低光条件下会失效，因为不可忽略的直流电噪声分量。并且，评估显示直流噪声分量在不同颜色通道中也是不同的（Fig.4），作者认为这种颜色不均匀的直流噪声分量是导致在极低照度下经常观察到的色偏现象的罪魁祸首。

Fig.4如何得到的：基于一系列黑帧，计算每个黑帧每个颜色通道的像素均值，将均值减去记录的黑电平，统计所有黑帧的计算结果，绘制密度直方图。

为了使噪声模型简单而紧凑，将色偏噪声合并到读出噪声中（其实就是改变了读出噪声在颜色通道上的均值，由假设的0变化为${\mu }_c$）