论文理解 Practical Deep Raw Image Denoising on Mobile Devices

最新推荐文章于 2024-02-01 19:11:57 发布

碧落回雪

最新推荐文章于 2024-02-01 19:11:57 发布

阅读量4.4k

点赞数 1

分类专栏：图像处理去噪文章标签：深度学习

本文链接：https://blog.csdn.net/zjy_snow/article/details/124385456

版权

图像处理同时被 2 个专栏收录

3 篇文章 0 订阅

订阅专栏

去噪

1 篇文章 0 订阅

订阅专栏

Practical Deep Raw Image Denoising on Mobile Devices

原文：PDF
代码：GIT

The Noise Model

论文中给出的噪声模型为
$\sim k\mathcal{P}(\frac{x^*}{k})+\mathcal{N}(0,\sigma^2)$
其中， $x$ 为噪声图像， $x^*$ 为无噪声图像， $k$ 是 photon noise 相关参数， $\sigma$ 是 add noise 相关参数

噪声相关可以参考计算摄影：噪声模型与噪声估计

在这个基础上，可以用python实现模拟生成噪声图像

import numpy as np
k = 2      # example for 3200 ISO
sigma = 10 # example for 3200 ISO
noise = k * np.random.poisson(img / k) + np.random.normal( 0., sigma, img.shape)

K-Sigma

作者提出了 K-Sigma Transform 用于模型的预处理和后处理，以去掉数据的噪声强度对于ISO的依赖，某种程度上算是降低了训练数据的难度

the network can be trained using normalized data without considering the ISO setting

定义
$\frac{x}{k} + \frac{\sigma^2}{k^2}$
带入噪声模型，可以得到只依赖于 $x^*$ 分布的数据

Parameter Estimation

对于 特定的ISO ，可以通过求解以下线性回归问题得到 对应的 $k$ 和 $\sigma$
$\left \{ \begin{array}{ll} \mathrm{E}(x) = x^* \\ \mathrm{Var}(x) = k x^*+\sigma^2 \end{array} \right.$

具体的，对于相同场景，相同ISO设置下，拍摄的多张图像，通过均值估计 $x^*$ ，再利用方差和最小二乘法，得到 $k$ 和 $\sigma$

import numpy as np
k = 2      # example for 3200 ISO
sigma = 10 # example for 3200 ISO

if __name__ == "__main__":
    # Generate the noise image
    noise = []
    for i in range(200):
        noise.append(k * np.random.poisson(img / k) + np.random.normal( 0., sigma, img.shape))
    noise = np.asarray(noise) # 200x16x16

    mu = np.mean(noise, 0)    #   1x16x16
    mu = np.clip(np.round(mu), 0,255)

    xp = np.unique(np.sort(mu))[:]
    print(xp.shape)

    # calculate the var for every xp
    var = []
    for i in xp:
        var.append(np.mean((noise[:, mu == i] - i)**2))
    var = np.asarray(var)

    w = np.column_stack((xp, np.ones_like(xp)))
    # y = wx; w->[mu, 1] x->[k, simma^2]^T, y->var
    # x = inv(w^T*w)*w^T * y
    winv = np.matmul(np.linalg.inv(np.matmul(np.transpose(w), w)),np.transpose(w))
    x = np.matmul(winv, var)

对于不同的ISO设置，可以用以上代码得到对应的 K-Sigma 参数，利用numpy的polyfit函数分别拟合1阶函数和2阶函数，即可得到作者所说的Noise参数

Implementation

作者在实际代码中，使用了一个anchor，将 input 对齐到了 anchor 的，而不是如同论文中所说的简单的做 K-Sigma 变换和逆变换，作者的解答如下：

anchor is an extension to the original k-sigma transfor. For a random ISO Gx and an anchor ISO Ga, the process is
img_norm = inv_ksigma(ksigma(img, Gx), Ga)
In this way, the input images are “normalized” to noise characteristics at ISO-level at Ga. Compared with the orignal k-sigma transform, this extension can keep the value range to the network in a stable range.

另外，对于代码中的V，作者的解释如下：

V means value range. For a typical 10bit sensor with black_level 64, V = 1023-64 = 959. Some sensors can be set in different bitwidth output, this param is useful in this case.

具体参见ISSUE 3，不吐槽是否还有其他骚操作。

Re-Thinking

其实作者的操作可以看作特殊的正则化，从我个人的感觉上来看，其结果是依据噪声模型的参数，将图像“压缩”到特定的范围，至于作者为什么要做一个extension ，感觉是由于不同的ISO，会将图像压缩到不同的范围，比如，利用不同ISO参数拍摄的相同场景的图像，低ISO的 $k$ 值更小，高ISO的 $k$ 值更大，如果不改变曝光时间等其他参数，那么低ISO的图像更暗，高ISO的图像更亮，看似变换是合理的，但通常为了保证高ISO能够正常成像，都会调整曝光参数等防止过曝，这会将图像亮度拉低，那么再应用K-Sigma变换似乎就没太有道理。

如有错误请指正，谢谢！