文献阅读笔记7PERCEPTUAL QUALITY ASSESSMENT FOR STEREOSCOPIC IMAGES BASED ON 2D IMAGE QUALITY METRICS AND D

PERCEPTUAL QUALITY ASSESSMENT FOR STEREOSCOPIC IMAGES BASED ON 2D IMAGE QUALITY METRICS AND DISPARITY ANALYSIS

（有介绍一些关于立体图像的基础知识，但是主要是FF算法）

1. 摘要
本文研究了一些二维图像质量度量在立体图像质量评价中的作用，并且视差对立体图像质量评价有着重要的影响。对视差信息与质量评价的集成进行了研究，实验结果表明，在立体图像质量评价中，视差信息与原始图像相结合，可以获得更好的效果。

2. 介绍

3.STEREOSCOPIC IMAGE QUALITY METRIC BASED ON 2D IMAGE QUALITY METRICS AND DISPARITY ANALYSIS
3.1
实际上，我们可以用常量作为左眼图像的质量值，例如1，用于ssim、mssim、uqi等。 通过对结果进行双向方差分析，检验了左眼图像质量、右眼图像质量和整体质量之间的交互作用的意义。方差分析结果表明，右眼图像质量控制着整体质量，左眼图像对整体质量几乎没有影响。
我们认为这是因为感知质量不仅受图像内容的影响，而且还受立体视的其他属性(如差异)的影响。例如，我们认为视差信息对立体图像的质量评价有着重要的影响。

3.2 Perceptual stereoscopic quality assessment based on disparity information
根据每个人的不同，人眼水平相隔约50-75毫米(瞳孔间距)。因此，每只眼睛对世界的看法略有不同。当交替地闭上一只眼睛时，可以很容易地看到这一点。在任何给定的时刻，两只眼睛的视线在空间的某一点上相遇。这一点在太空中的同一位置(即空间中的这一点)。由于左眼和右眼所观察到的视点不同，空间中的许多其他点并不落在相应的视网膜位置上。视觉双目视差被定义为两眼投射点之间的差异，通常表示为视觉角度。大脑利用双眼视差从视觉角度提取深度信息。立体视觉中的二维视网膜图像，在计算机立体视觉中，双目视差是指由两种不同的摄像机而不是眼睛捕捉到的相同的差异，一般情况下，立体对图像中的一幅图像可以从视差中恢复，另一幅图像可以从视差中恢复，因此，我们认为左眼图像和右眼图像之间的差异对视觉质量评价有着重要的影响。
在这项工作中，我们不打算研究立体对图像之间的视差图估计方法及其对质量评估的影响。 我们选择了基于信念传播的方法来估计视差图[14]。 由于畸变的区域，即使图像对中的对象的相对位置根本没有改变，原始立体对图像的差异也不同于失真立体对图像的差异。 由于图像中的真实物体在失真过程中不发生变化，因此两个视差图像（一个是原始视差，另一个是左眼图像与失真右眼图像之间的视差）之间的变化通常位于 扭曲是清晰可见的，如噪音增加区域，区域具有块状。 因此，我们可以比较差异图像以获得失真立体图像的质量预测。
如上所述，视差是指左眼和右眼所看到的物体位置上的差异，因此视差图像与原始图像有很大的不同。
由于视差图像对立体图像质量有着重要的影响，我们自然认为视差图像和原始图像的组合比使用视差或原始图像的效果要好，因此，我们采用三种方法结合视差和原始图像来计算立体图像质量。

第一种方法称为全局组合，首先计算畸变图像和畸变视差的两个质量值，分别表示为IQ和dq。IQ由原始图像上的iqms计算，dq由GCC、MSE、MAD和iqms计算，然后使用以下函数(a~e)计算出作为立体图像质量的总体质量(OQ)。
实验结果表明，适当的图像质量和视差质量的组合比单独使用原始图像或视差图像的效果要好。此外，我们还发现，采用ssim和mad的结合计算IQ，MAD计算dq，总是在所有可能的范围内获得最佳的性能。此外，Ssim在测量原始图像质量或计算视差图像质量方面都有很好的性能，这表明如果将原始图像质量和视差图像质量相结合，就可以开发出一个很好的立体图像质量预测指标。

第二种方法称为局部组合。 一些IQM，例如 PSNR（基于MSE），SSIM，MSSIM，UQI，PHVS和JND计算参考图像和失真图像之间的质量图，以直接或间接描述图像像素质量退化的分布情况， 通常将失真图像计算为质量图中所有像素的平均值。 此外，我们还可以计算视差图像的质量图，其可以反映失真视差图像上的劣化的近似分布。 在这项研究中，使用了四种方法来计算差异图像上的质量图如下：
其中D和D分别表示原始视差图像和失真视差图像，而IMQ DD（，）IMQ D（，）表示质量地图使用相应的开发（包括PSNR，SSIM，MSSIM UQI，PHVS，JND）原视差图像和扭曲图像之间的差距。在计算原始图像和视差图像的质量图后，用方程（2）将每个像素对映射到质量图上，然后将平均值作为整个图像的整体质量。表6给出了使用局部组合的质量值和DMOS值之间的Pearson相关系数，其中报告了最高的相关系数。（局部的意思是？？）
根据评估结果，发现通过使用局部组合的性能改进不如全局组合执行那样显着。 有些组合甚至降低了整体质量值与主观DMOS值之间的相关性。 然而，我们发现原始图像和视差图像上的SSIM和UQI算法对于局部组合具有最佳性能，而不管使用何种组合。 例如，设IQM和DQM分别为原始图像和UQI和SSIM计算出的视差图像的质量图，每个像素对的组合为OQM，预测质量与主观结果的Pearson相关系数为0.899。 因此，并非所有度量都适合本地组合，并且需要一种适当的方法来探索图像质量图与视差质量图之间的关系。
最后，第三种方法是通过以下三个步骤将局部组合整合到全局组合中：•首先分别使用原始图像和视差图像上的适当度量计算两幅质量图; •这两张地图在本地合并，平均值被视为扭曲图像的中间质量; •最后一步是结合视差图像的中间质量和质量，然后获得立体图像的整体质量。在我们的实验中，当使用UQI计算原始图像和视差图像的质量图时，获得最高的相关系数（0.91），并且质量图上的局部组合再与视差图像的MAD组合。

4 总结
本文研究了一些著名的二维图像质量度量指标，包括ssim、mssim、vsnr、vif、uqi、ifc、nqm、wsnr、phvs和jnd模型在立体图像质量评价中的能力。
了解三维呈现对人类视觉和感知系统的影响的基本原理，探索原始图像、视差信息和视觉感知系统之间的关系。深度质量评估是评价三维视觉演示中视觉体验质量的另一个关键问题。如何对这种影响进行建模，以及三维演示的特征与质量评估之间的关系，是评价三维视觉演示中视觉体验质量的另一个关键问题。