2020 去噪技术发展趋势

                                                                    2020 去噪技术发展趋势

       去噪任务在合成数据集上，现有的基于深度学习的去噪模型取得了令人印象深刻的效果，但与传统方法相比，它们对真实相机数据的泛化效果较差。最近去噪方面比较热门的两个词就是RAW和GAN了。想了解去噪发展趋势，可以先看看如下几个问题。

1  噪声是什么？

       噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块。一般，噪声信号与要研究的对象不相关，它以无用的信息形式出现，扰乱图像的可观测信息。通俗的说就是噪声让图像不清楚。

2  噪声来源：图像获取过程和 图像信号传输过程中；

3  图像成像原理是什么？

      光信号->电信号->数值信号：简述：光信号通过镜头，在传感器（CMOS/ CCD）转成电信号,并放大，电信号通过A/D（模数转换器analog-to-digltal converer）转换，生成数字信号，数字信号通过模拟放大输出（也就是调节的ISO），便得到最原始的raw数据raw数据通过ISP(图像处理芯片)，生产Yuv图像。

4  传感器是什么？

        其中CMOS传感器如图1，由多个感光元件组成，见图2，每一个感光元件示例见图3，包含微透镜，滤光片，光电二极管等，其中微透镜实现够减少边缘光的损失，实现聚光的功能，通过滤光片可以得到不同颜色，光电二极管则负责将光信号转为电信号。

             

              图1  CMOS传感器              图2 多个感光元件排列组合            图3 单个感光元件

5  传感器噪声

        光信号经过感光元件的光电二极管，数模转换器后得到的数值信号，通过模拟放大输出也就是Raw数据，是一个二维单通道图像，如图4，上面每一个数值代表着对应的光照强度。此时Raw图里面含有的噪声称之为传感器噪声。

                                                    

                                                   图4 RAW数据图像示意

传感器噪声主要包含shot noise 和 Read noise，

shot noise（散粒噪声）是指信号本身引入的噪声，均值为像素的灰度值，分布服从泊松分布，Shot noise存在的根本原因是因为光是由离散的光子构成（光的粒子性），光源发出的光子打在感光元件上，从而形成一个可见的光点。光源每秒发射的光子到达感光元件的越多，则该像素的灰度值越大。但是因为光源发射和CMOS接收之间都有可能存在一些因素导致单个光子并没有被CMOS接收到或者某一时间段内发射的光子特别多，所以这就导致了灰度值会有波动，也就是所谓的散粒噪声。

Read noise是指图像信号在读出电路上引入的噪声。read noise是跟信号的大小无关的。也就是说，即使当前的信号为零，也会有read noise。与信号无关，均值为0，分布符合高斯分布。

因此最终噪声模型y ~N(u = x,delta^2 = read + shot *x)

其中x为信号即像素的灰度值，均值为x，方差为read + shot*x。

每一个像素点对应的噪声服从这个分布。

read噪声与数值信号增益有关，shot噪声与模拟信号增益有关，其中数值信号增益和模拟信号增益在相机中都是ISO的函数，因此存在一定的相关性。

6  sRGB 噪声

        RAW图像的噪声我们可以简单地采用泊松分布和高斯分布来建模，但是当要建模sRGB的噪声模型时候，就比较困难，因为sRGB图像中存在的真实噪音是经过常规图像信号处理(ISP)管道中执行的一系列非线性处理操作。因此，与原始传感器数据相比，在sRGB中建模真实的摄像机噪声是一项固有的困难任务。例如，原始传感器空间的噪声是依赖于信号的;去马赛克后，它在空间上和颜色上是相关的;经过管道的其余部分后，它的概率分布不一定是高斯分布。

                           

7  传统去噪方法：

    Non-local Means+DCT： BM3D 大法好，当然还有很多基于类似思路的优秀传统算法；

8  深度学习方法去噪：

   8.1 采用相同设备拍摄同一场景，采用高低iso拍摄两次，构建数据对；

   8.2 模拟噪声，主要是模拟高斯噪声，然后添加在无噪声图像上；

   8.3 基于RAW数据进行去噪（RAW数据的噪声建模更加容易）例如：CycleISP

   8.4 真实噪声数据+GAN：Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive  Instance Normalization（CVPR2020）

   8.5 如何平衡噪声去除和纹理保持的效果，都是图像去噪不断追求的目标。因此网络结构，动态卷积核，注意力，多尺度等trick会用到去噪任务上。

推荐：Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive  Instance Normalization（CVPR2020）