旷视low-level系列（二）：Practical Deep Raw Image Denoising on Mobile Devices

论文：ECCV 2020
代码：https://github.com/MegEngine/PMRID

1. Motivation

业内周知，基于深度学习的去噪算法在效果上已经甩传统算法几条街了，但是由于模型计算量太大和设备算力不够等因素导致落地困难。为了解决上述问题，旷视的这篇论文提出了一个轻量级的、高效的神经网络去噪模型，能够在移动设备上流畅运行，并且能够获取高质量的去噪结果。

2. Contribution

• 提出了一种噪声估计和构造合成数据用于训练传感器特定的去噪神经网络的系统方法；
• 提出了一种新颖的k-Sigma变换，将不同ISO下的噪声图像映射到ISO不变的信号-噪声空间。在该空间中能够训练一个单一的小网络来处理具有不同噪声水平的图像，而不是针对每个ISO单独训练一个小网络或者训练一个能够覆盖所有ISO的大网络；
• 提出了一种用于高效去噪的移动端友好的网络结构。

3. Methods

3.1 噪声建模&参数估计

在噪声建模部分，作者首先回顾了入射光子到数字信号的转换过程，该过程包含多个阶段，每个阶段都会引入特定的噪声。

考虑一个没有噪声的理想系统，光子到数字信号的转换可以由一个简单的线性模型表示：$$x^{\ast }=g\alpha {\mu }^{\ast }\text{\hspace{1em}(1)}$$其中，${\mu }^{\ast }$为探测器接收到的期望光子数，即不考虑光的量子性质；$\alpha$为量子效率，其定义为光电探测器等设备将其受光表面接收到的光子转换为电子-空穴对的百分比，即量子效率等于光生电子除以入射光子数，通常用QE（quantum efficiency）表示；$g$为模拟增益。

考虑各个阶段引入噪声的情况下,转换过程如下 x = g ( α μ + n d ) + n r (2) x=g(\alpha\mu+n_d)+n_r\tag{2} x=g(αμ+nd​)+n