实验一 图像滤波

实验一 图像滤波

1.噪声的来源与特点

噪声的来源包括系统内部噪声和外部噪声，外部噪声又分为人为噪声和自然噪声，自然噪声包括雷电、磁暴、太阳黑子、大气噪声、宇宙噪声等，人为噪声是来自各种工业和非工业射电辐射引起的噪声，如电机、电力线、电点火等电气设备产生的低频干扰。内部噪声是指信道内部各电子器件产生的噪声。

在数字图像获取和传输的过程中，由于受传感器材料属性、工作环境、电子元器件和电路结构等影响，会引入各种噪声，如电阻引起的热噪声、场效应管的沟道热噪声、光子噪声、暗电流噪声、光响应非均匀性噪声，或者由于传输介质和记录设备等的不完善，数字图像在其传输记录过程中往往会受到多种噪声的污染。

这里我们主要讨论加性噪声、乘性噪声、高斯噪声和椒盐噪声数字图像中常见的四种噪声。
原图为

1.1 加性噪声

加性噪声一般指热噪声、散弹噪声等，它们与信号的关系是相加，不管有没有信号，该类噪声是一直存在的。一般通信中把加性随机性看成是系统的背景噪声

1.2 乘性噪声

乘性噪声一般由信道的不理想所导致，它们与信号的关系是相乘，伴随着信号的消失而消失，乘性随机性看成系统的时变性（如衰落或者多普勒）或者非线性所造成的。

乘性噪声普遍存在于图像当中，如合成孔径雷达、超声波、激光等相干图像系统当中．与标准加性高斯白噪声相区别，乘性噪声符合瑞利或伽玛分布函数．乘性噪声对图像的污染严重，而有效地的处理乘性噪声图像比较困难，因为乘性噪声起伏较剧烈，均匀度较低

乘性噪声的模型为：$f(x,y)=u(x,y)\ast \eta (x,y)$

其中$u(x,y)$为真实信号，$\eta (x,y)$为噪声信号

1.3 高斯噪声

高斯噪声是指概率密度函数服从高斯分布的一类噪声。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性

图像传感器在拍摄时市场不够明亮、亮度不够均匀、电路各元器件自身噪声和相互影响、图像传感器长期工作，温度过高都可能引入高斯噪声

1.4 椒盐噪声

椒盐噪声又称脉冲噪声，是由图像传感器，传输信道，解码处理等产生的黑白相间的亮暗点噪声，分为椒噪声和盐噪声，椒指黑胡椒，椒噪声是图像中像撒的黑胡椒一样的小黑点（灰度值接近零的像素点）；盐指食盐，盐噪声是图像中像盐粒一样的小白点（灰度值接近255的像素点），椒盐噪声往往由图像切割引起。

通过其直方图进一步观察其特征

可以看到，0和255这两个灰度值对应的像素点数远远高于其他值，0对应的时椒噪声，也就是图像上的黑点，255对应盐噪声，即白点

2.空间域滤波器

空间域滤波是利用像素本身及其邻域像素的灰度关系，对一个邻域内（一般为8-邻域）的像素点的灰度级进行模板运算，以达到图像增强的目的，而参与运算的模板称作滤波器

这里的模板运算主要有两种，一种是模板卷积，另一种是模板排序

需要注意的是，不论是模板卷积还是模板排序，都无法对图像边界处进行处理，最简单的方法时将其全部取为零，也可以取其4-邻接像素的值，当然，4个角处需要取对角邻接像素的值，也可将其视作周期的，即将最后一排补到第一排之上参与模板运算

模板运算可实现的功能是平滑滤波和锐化滤波，又根据其特点可以分为线性和非线性，如下表

	线性	非线性
平滑	邻域平均、加权平均、高斯平均、边缘保持平滑	序统计滤波、最频值滤波
锐化	Laplace算子、Sobel算子、高频提升滤波	基于梯度的锐化滤波、最大-最小锐化变换

这里我们要探究的三种滤波器中，均值滤波器和高斯滤波器属于线性平滑滤波，中值滤波器属于非线性平滑滤波。

2.1 均值平均滤波器

均值滤波器是一种简单的空间域的低通滤波器，有算术均值滤波器、几何均值滤波器、谐波均值滤波器等，这里只讨论算术均值滤波器，它选取了一个像素邻域的平均值作为滤波结果，滤波器模板的所有系数都取1

其通用的表达式为：$$g(x,y)=\frac{1}{n^2}{\Sigma }_{(s,t)\in N(x,y)}f(s,t)$$

n一般取大于或等于3的奇数

如取3时，滤波器模板为

[[1, 1, 1],
 [1, 1, 1],
 [1, 1, 1]]

n越大，对噪声的平滑效果也就越好，但同时图像细节的损失就越多，图像也就越模糊

根据均值滤波器取平均的特点，如果模板中的一个或几个点叠加了噪声，使用均值滤波器能够将这些加性噪声平均于模板的所有邻接像素上，从而使得灰度值小的像素灰度值增大，灰度值大的像素灰度值减小。从功率方面来看，模板的每个像素上的加性噪声更加接近噪声的均值，噪声的功率变小了。

所以，从理论分析可以得出，均值滤波器应该对加性噪声有良好的滤除效果

均值滤波器的python代码如下

# 计算卷积
def convolution(operatr, block):
    
    if isinstance(operatr, list):
        operatr = np.array(operatr)     # list不能直接相乘，需要先转换成numpy.ndarray对象
    if isinstance(block, list):
        block = np.array(block)
    sigma = np.sum(operatr * block)
    return sigma


# 均值滤波
def MeanFiltering(im):
    image = copy.deepcopy(im)
    operatr = np.ones(9).reshape(3, 3)
    w = image.shape[0]
    h = image.shape[1]
    for i in range(1, h - 1):
        for j in range(1, w - 1):
            block = image[i-1:i+2, j-1:j+2] # 二维数组切片
            image[i][j] = np.uint8(convolution(operatr, block) / 9)
    return image

2.2 高斯平滑滤波器

高斯滤波器应用十分广泛，这里讨论的是空间域的高斯滤波器。高斯滤波器是一种特殊的加权平均，由高斯分布确定模板系数，越接近模板中心，系数越大

取$\sigma =0.8$，由高斯分布得

[[1.0000, 2.1842, 1.0000],
 [2.1842, 4.7707, 2.1842],
 [1.0000, 2.1842, 1.0000]]

对左上角的元素归一化，对整个模板取整

[[1, 2, 1],		  	
 [2, 4, 2],
 [1, 2, 1]]	

2-D的高斯滤波和2-D的均值滤波的模板都可以分解为两个顺序使用的1-D模板

[[1, 2, 1],		  [1]	
 [2, 4, 2], = 1/4 [2] 1/4 [1, 2, 1]
 [1, 2, 1]]		  [1]

高斯滤波器与均值滤波器类似，差别在于，高斯滤波器的模板中加了不同的权（模板系数不同），中心点权位最高，为$\frac{4}{16}$，其次是4-邻接点，为$\frac{2}{16}$，最后是对角邻接点，为$\frac{1}{16}$，所以离中心点越近的像素点对中心点的影响越大，这样的结构使得高斯滤波器相对于均值滤波器，对图像的模糊程度更小

高斯滤波器的python代码如下

# 高斯滤波
def GaussianFiltering(im):
    image = copy.deepcopy(im)
    operatr = [[1, 2, 1],
               [2, 4, 2],
               [1, 2, 1]]
    w = image.shape[0]
    h = image.shape[1]
    for i in range(1, h - 1):
        for j in range(1, w - 1):
           block = image[i-1:i+2, j-1:j+2]
           image[i][j] = np.uint8(convolution(operatr, block) / 16)
    return image

2.3 中值滤波器

中值滤波器不同于以上两种，它是一种非线性滤波器，它的运算流程是：（1）将模板中的元素进行排序（2）取中值来代替模板中心的像素的灰度值（3）模板滑动到下一区域。因为中值滤波的运算是基于统计的，所以它也属于序统计滤波器。

中值滤波器在处理时取中位数，在处理的模板中的数出现了极端变化值的时候，中位数不受极端值的影响，比算术平均数能够更好的代表数据的总体特征，无论模板中心是一个椒噪声的像素点（灰度值接近于零），还是一个盐噪声的像素点（灰度值接近于255），都有极大概率被置换成一个“中庸”的值，这个值在模板中排序属于中间位置，所以不会显得很突兀，所以理论上中值滤波器对椒盐噪声有着良好的去噪效果

# 中值滤波
def MedianFiltering(im):
    image = copy.deepcopy(im)
    w = image.shape[0]
    h = image.shape[1]
    for i in range(1, h - 1):
        for j in range(1, w - 1):
            block = image[i-1:i+2, j-1:j+2]
            image[i][j] = sorted(block.reshape(-1))[4]
    return image

3.实验结果

3.1 图像质量评估

经过去噪后，有些图像我们能通过肉眼直接得出去噪效果，但是大多数情况下，人眼难以区分，用来作为评价去噪效果的依据的话太过主观，因此，我们需要使用一些客观的指标，来作为对去噪效果的评估的参考。图像质量评价（Image Quality Assessment）是衡量图像处理效果的重要步骤，常用的图像质量评估有如下几种方法：

3.1.1 信噪比SNR

信噪比是衡量一个通信系统的可靠性的重要指标，也可以用来评价一个图像信号中信号和噪声的相对强度大小，但是并不能客观评价图像的去噪效果。根据信噪比的定义，图像的信噪比等于信号与噪声的功率谱之比，但功率谱那一计算，所以常常采用信号与噪声的方差之比近似估计图像的信噪比，方法是，首先计算所有像素的局部方差，将局部方差的最大值认为是信号方差，局部方差的最小值认为是噪声方差，两者之比转换成dB数再经过经验公式修正即是图像信噪比。

信噪比不能比较图像之间的差异性。

3.1.2 均方误差MSE

MSE是估计值与真实值之差的平方的均值，其计算方法为$MSE=\frac{1}{M\times N}{\Sigma }_{i=1}^M{\Sigma }_{j=1}^N(f^{\prime }(i,j)-f(i,j){)}^2$其中M，N分别表示图像的宽和高，$f^{\prime }(i,j)$和$f(i,j)$分别表示待评估图像与原始图像对应位置$(i,j)$的像素灰度值

均方误差越小，说明两幅图像之间的相似度越高

python代码如下

    def calMSE(stdImg, proImg):
       length = stdImg.shape[0] * stdImg.shape[1]
       suqA = stdImg.reshape(-1).tolist()
       suqB = proImg.reshape(-1).tolist()
       sigma = 0
       for i in range(length):
           sigma += np.power((suqA[i] - suqB[i]), 2)
       mse = sigma / length
       return mse

3.1.3 峰值信噪比PSNR

峰值信噪比可以用来计算两幅图像之间的相似度，评价的是一幅估计图像相对于原图像的噪声强度，其计算方法为$PSNR=10lo{g}_{10}\frac{Q^2}{{\Sigma }_{i=1}^M{\Sigma }_{j=1}^N(f^{\prime }(i,j)-f(i,j){)}^2}=10lo{g}_{10}\frac{(2^n-1{)}^2}{MSE}$，其中n是量化位数，对于256灰度级图像来说，n=8

PSNR越大，说明两幅图像之间的相似度越高

python代码如下

    def calPSNR(stdImg, proImg):
        mse = calMSE(stdImg, proImg)
		psnr = 10 * np.log10(np.power(255, 2)/mse)
        return psnr

PSNR算法简单，检查速度快，但是基于对应像素点间的误差，呈现的差异值与人的主观感受不成比例，不符合人类视觉系统(Human Visual System)的评价结果

3.1.4 结构相似性SSIM

结构相似性是用于衡量两幅图像之间相似度的指标，输入为两张图像，一张是未压缩无失真的图像，另一张是失真后的图像，输出值范围[-1, 1]，为1时表示两图像完全相等，越接近1，表示两张图像的相似性越大。结构相似性用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。

给定两个信号x, y，其SSIM的计算方法为$SSIM(x,y)=[l(x,y){]}^{\alpha }[c(x,y){]}^{\beta }[s(x,y){]}^{\gamma }$

其中$l(x,y)=\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1},c(x,y)=\frac{2{\sigma }_x{\sigma }_y+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2},s(x,y)=\frac{{\sigma }_{xy}+C_3}{{\sigma }_x{\sigma }_y+C_3}$。

$l(x,y)$比较x和y的亮度，$c(x,y)$比较x和y的对比度，$s(x,y)$比较x和y的结构

正数$\alpha 、\beta 、\gamma$为调整$l、c、s$相对重要性的参数

${\mu }_x、{\mu }_y$分别是$x、y$的平均值，${\sigma }_x、{\sigma }_y$分别是$x、y$的标准差，${\sigma }_{xy}$是$x、y$的协方差

$C_1、C_2、C_3$是常数，用于维持$l、c、s$的稳定

在实际应用中，为了简化，一般取$\alpha =\beta =\gamma =1,C_3=\frac{C_2}{2}$

此时原式化简为$SSIM(x,y)=\frac{(2{\mu }_x{\mu }_y+C_1)(2{\sigma }_{xy}+C_2)}{({\mu }_x^2+{\mu }_y^2+C_1)({\sigma }_x^2+{\sigma }_y^2+C_2)}$

计算方法类似于空间域滤波的模板运算，在图像上开一个$N\times N$的窗口，窗口以像素为单位滑动，依次计算$SSIM$，最后取各个窗口的$SSIM$的平均值，作为两幅图像的$SSIM$

$SSIM$越大（接近1），说明两幅图像之间的相似度越高

计算SSIM的python代码如下

def calSSIM(stdImg, proImg, win_size):
    w = stdImg.shape[0]
    h = stdImg.shape[1]
    localSSIMs = []
    k1 = 0.01
    k2 = 0.03
    L = 255  # 动态范围
    for i in range(win_size//2, h-win_size//2):
        for j in range(win_size//2, w-win_size//2):
            block1 = stdImg[i-win_size//2:i+win_size//2+1, j-win_size//2:j+win_size//2+1]
            block2 = proImg[i-win_size//2:i+win_size//2+1, j-win_size//2:j+win_size//2+1]
            mu_x = block1.mean()
            mu_y = block2.mean()  # 均值
            sigma_x = block1.std()
            sigma_y = block2.std()  # 标准差
            sigma_xy = np.cov(block1.reshape(-1), block2.reshape(-1)).reshape(-1)[0]  # 协方差矩阵
            c1 = (k1 * L) ** 2
            c2 = (k2 * L) ** 2
            localSSIM = ((2*mu_x*mu_y+c1)*(2*sigma_xy+c2))/((mu_x**2+mu_y**2+c1)*(sigma_x**2+sigma_y**2+c2))
            localSSIMs.append(localSSIM)  # 局部SSIM
    SSIM = np.mean(localSSIMs)
    return SSIM

3.1.5 信噪比增益G

定义为输出图像信噪比和输入图像信噪比之比，即$G=\frac{S_o/N_o}{S_i/N_i}$。由于已知无失真图像，所以这里的图像信噪比的计算不再以“局部方差的最大值认为是信号方差，局部方差的最小值认为是噪声方差”为准，而是以无失真图像作为信号，其他含噪声或者经过处理的图像的所有像素与之相减的平方和的均值为噪声功率。

python代码如下

# 信噪比增益
def calG(stdImg, proImg, noiImg):
    snrI = calSNR(stdImg, noiImg)
    snrO = calSNR(stdImg, proImg)
    G = round(snrO/snrI, 4)
    return G

# 计算信噪比
def calSNR(stdImg, proImg):
        signal = np.power((stdImg.reshape(-1).mean()), 2)
        noise = calMSE(stdImg, proImg)
        snr = 10 * np.log10(signal / noise)
        return snr

信噪比增益越大，说明图片经过处理后，噪声成分越少，越接近原图像。

由于已知无失真图像，而图像信噪比不能用来比较图像之间的差异，所以我们采用MSE、PSNR、SSIM和$\frac{S_o/N_o}{S_i/N_i}$来比较去噪后图像与无失真图像的差异，评估去噪效果

3.2 含有加性噪声的图像的滤波

	含噪图像	均值滤波	高斯滤波	中值滤波
MSE	392.4676	346.8199	325.5908	365.3171
PSNR	22.1928	22.7298	23.0041	22.5041
SSIM	0.6615	0.8427	0.8556	0.8247
$\frac{S_o/N_o}{S_i/N_i}$	1.0	1.036	1.0544	1.0209

对含有加性噪声的图像分别进行均值滤波、高斯滤波、中值滤波。

由四种情况下的MSE对比可知，三种滤波器对应的输出图像的MSE均减小，与无失真图像的相似度提高，说明都对加性噪声都有一定的抑制作用，且高斯滤波器效果最好，MSE下降了66.8768；

对比四幅图像的PSNR可知，三种滤波器对应的输出图像的PSNR均有小幅度上升，且高斯滤波器效果最好，PSNR上升了0.8113；

对比四幅图像的SSIM可知，三种滤波器对应的输出图像与无失真图像的结构相似性有很大的提升,且高斯滤波器效果最好，SSIM增大了0.1941；

对比四幅图像的信噪比增益可知，三种滤波器对应的输出图像信噪比增益有小幅度提升，且高斯滤波器效果最好，信噪比增益为1.0544；

综上所述，对加性噪声的去噪效果按降序排列为：高斯滤波器>均值滤波器>中值滤波器

3.3 含有高斯噪声的图像的滤波

	含噪图像	均值滤波	高斯滤波	中值滤波
MSE	104.3280	85.0416	62.2635	80.4490
PSNR	27.9468	28.8345	30.1885	29.0756
SSIM	0.6740	0.8550	0.8678	0.8502
$\frac{S_o/N_o}{S_i/N_i}$	1.0	1.043	1.1085	1.0546

对含有高斯噪声的图像分别进行均值滤波、高斯滤波、中值滤波。

由四种情况下的MSE对比可知，三种滤波器对应的输出图像的MSE均减小，与无失真图像的相似度提高，说明都对加性噪声都有一定的抑制作用，且高斯滤波器效果最好，MSE下降了42.0645；

对比四幅图像的PSNR可知，三种滤波器对应的输出图像的PSNR均有小幅度上升，且高斯滤波器效果最好，PSNR上升了2.2417；

对比四幅图像的SSIM可知，三种滤波器对应的输出图像与无失真图像的结构相似性有很大的提升,且高斯滤波器效果最好，SSIM增大了0.1938；

对比四幅图像的信噪比增益可知，三种滤波器对应的输出图像信噪比增益有小幅度提升，且高斯滤波器效果最好，信噪比增益为1.1085；

综上所述，对加性噪声的去噪效果按降序排列为：高斯滤波器>中值滤波器>均值滤波器

3.4 含有椒盐噪声的图像的滤波

	含噪图像	均值滤波	高斯滤波	中值滤波
MSE	936.9007	192.2863	204.5361	85.3831
PSNR	18.4139	25.2913	25.0231	28.8171
SSIM	0.3985	0.6671	0.6418	0.9041
$\frac{S_o/N_o}{S_i/N_i}$	1.0	1.618	1.5939	1.9349

对含有椒盐噪声的图像分别进行均值滤波、高斯滤波、中值滤波。

由四种情况下的MSE对比可知，三种滤波器对应的输出图像的MSE均减小，与无失真图像的相似度提高，说明都对加性噪声都有一定的抑制作用，且中值滤波器效果最好，MSE下降了851.5176；

对比四幅图像的PSNR可知，三种滤波器对应的输出图像的PSNR均有较大幅度上升，且中值滤波器效果最好，PSNR上升了10.4032；

对比四幅图像的SSIM可知，三种滤波器对应的输出图像与无失真图像的结构相似性有很大的提升,且中值滤波器效果最好，SSIM增大了0.5056；

对比四幅图像的信噪比增益可知，三种滤波器对应的输出图像信噪比增益有较大幅度提升，且中值滤波器效果最好，信噪比增益为1.9349；

可见，三种滤波器都将灰度值极高或者极低的像素转换成了其他较为适中的值。

综上所述，对加性噪声的去噪效果按降序排列为：中值滤波器>均值滤波器>高斯滤波器

3.5 含有乘性噪声的图像的滤波

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OblLL6Jp-1636273255476)(F:\Projects\image-tool\multiplicative.png)]

	含噪图像	均值滤波	高斯滤波	中值滤波
MSE	107.5245	84.9238	62.2503	84.9496
PSNR	27.8157	28.8405	30.1894	28.8392
SSIM	0.6886	0.8515	0.8636	0.8394
$\frac{S_o/N_o}{S_i/N_i}$	1.0	1.0499	1.1156	1.0499

对含有乘性噪声的图像分别进行均值滤波、高斯滤波、中值滤波。

由四种情况下的MSE对比可知，三种滤波器对应的输出图像的MSE均减小，与无失真图像的相似度提高，说明都对加性噪声都有一定的抑制作用，且高斯滤波器效果最好，MSE下降了45.2742；

对比四幅图像的PSNR可知，三种滤波器对应的输出图像的PSNR均有小幅度上升，且高斯滤波器效果最好，PSNR上升了2.3737；

对比四幅图像的SSIM可知，三种滤波器对应的输出图像与无失真图像的结构相似性有很大的提升,且高斯滤波器效果最好，SSIM增大了0.1750；

对比四幅图像的信噪比增益可知，三种滤波器对应的输出图像信噪比增益有小幅度提升，且高斯滤波器效果最好，信噪比增益为1.1156；

综上所述，对加性噪声的去噪效果按降序排列为：高斯滤波器>均值滤波器>中值滤波器

4.总结与思考

对比均值、高斯、中值三种空间域的滤波器对加性、高斯、椒盐、乘性四种噪声的滤波效果，可以得出以下结论：

（1）高斯滤波器对于加性、高斯、乘性噪声的去噪效果在三种滤波器中表现最佳，加性、高斯、乘性噪声采用高斯滤波器可以获得较好的效果。

（2）中值滤波器对于椒盐噪声的去噪效果明显优于高斯和均值滤波器，椒盐噪声采用中值滤波器效果最佳

（3）高斯滤波器对多种噪声都有良好的抑制效果，在遇到未知种类的噪声时，高斯滤波器可以作为首选

反思：对于加性、乘性、高斯三种类型的噪声，三种滤波器去噪后的图像质量都不太好，可见，要得到理想的滤波效果，只使用单一的图像处理手段很难达到目的，为了得到理想的图像，还需要进一步的分析与计算。