文献阅读笔记10 No-Reference Quality Assessment of Natural Stereopairs

No-Reference Quality Assessment of Natural Stereopairs

---

LIVE 3D lab推荐的两篇论文之二
Disparity map & Uncertainty map
1. 摘要
摘要-我们开发了一个不参考的双目图像质量评估模型，该模型对静态立体图像进行操作，该模型利用从立体视觉中提取的2d和3d特征来评估立体视时的感知质量。对称和不对称扭曲的立体视镜都是用经典的线性竞争模型来计算双目竞争。NSS特征被用来训练一个支持向量机模型来预测质量。该模型在三维图像质量数据库中进行了测试，包括对称的和不对称的畸变立体三维图像，实验结果表明，该模型的性能明显优于传统的二维全参考Qa算法和不对称畸变立体视的三维全参考IQA算法。

3. 3D NR QA MODEL DESIGN
我们提出的模型的流程图如图所示。1.由于视差被估计并用于进行Qa，它是一类2维nr IQA模型，给定立体图像，基于ssim的立体算法生成估计视差映射，而利用滤波器组在立体声图像上生成一组多尺度Gabor滤波器响应，然后从立体图像对、估计视差映射和Gabor滤波器响应合成周期图像。然后从合成的周期图像中提取2D特征，从估计视差图和由立体匹配算法生成的不确定性图中独立提取三维特征，最后将提取的2d和3D特征输入质量估计模块，预测每个被测立体图像的感知三维质量。

利用Levelt[34]提出的线性模型的一个推广，从立体图像对合成Cyclopean Image。首先，利用一种非常简单的基于Ssim的密集立体匹配算法，从测试立体对中估计出视差图，通过搜索差异，得到左、右图像块之间最佳的Ssim匹配，通过选择较低的视差解来打破视差图。然后使用估计的视差图来创建一个完全不同的右视图图像。然后从左视图图像和差补偿的右视图图像中提取Gabor滤波器响应。最后，计算出周期图像作为左视图和差补偿右视图的加权和，其中权重是从Gabor滤波器响应中计算出来的。这个过程的细节可以在[36]中找到。本文的贡献在于特征的选择和提取方法，以及特征提取的方法。
A 2D Feature Extraction
自然场景统计（NSS）的研究清楚地表明，自然场景图像属于所有可能的信号的一小部分空间，它们遵循可预测的统计规律[39]。成功的2d nr qa算法[5]，[8]，[9]基于自然场景的统计量(以及人类的感知能力已经适应了这些统计量的实际情况)，取得了类似的qa预测性能。高性能的fr qa模型[28]，[40]虽然真实场景的图像在亮度和颜色分布上可能有很大的差异，但通过生物相关的方式对图像进行预处理，例如通过预测编码[41]和除法归一化[42]，得到的变换图像服从正则参数统计模型[39]，[43]。Ruderman[39]表明，通过简单的局部平均相减和分裂方差归一化处理的图像产生几乎与去相干相关的亮度。服从高斯分布，该模型与经典的前馈中心环绕声模型的自适应增益控制相似，利用这类NSS特征，Mittal等。[8]发展了一种具有高度竞争力的2D-NRIQA模型，称为Brisque。

B. 3D Feature Extraction
基于自然场景统计的特征被证明是预测自然图像质量的有效、健壮的工具。基于nss的特征的成功建立在原始自然场景倾向于遵循一定的规则统计规律的事实之上。在三维图像建模时，为了进一步遵循这一理念，我们还在qa模型中构建了从三维自然场景统计模型派生出来的qa模型特征。关于二维自然亮度统计的文献资料，对视差和深度统计的研究非常有限，其中一个可能的解释是获取精确的视差数据比获取二维成像数据要困难得多。
为了在立体图像对上进行无参考质量评估的任务，假设只有立体图像是可用的，而没有任何参考数据，包括地面真实视差。 因此，仅可访问的3D特征是从立体匹配算法估计的视差。 这里，我们使用基于Ssim的简单立体匹配算法来估计视差图。 因此，值得讨论的是地面真实视差与估计视差之间的差异。 图2示出了具有地面真实视差和估计视差图的立体像。 使用与捕获地面真实范围数据的激光扫描器建立的平行摄像机来捕获该立体像。 由于捕获模型是已知的，所以地面真实视差图直接从范围数据转换。 在图2中, 2.可以清楚地看出，存在许多估计误差，尤其是朝向图像的底部部分。 误差是由复杂的、重复的人行道结构产生的，这种简单的低复杂度立体算法不能很好地处理。 此外，由于立体算法的整数像素精度，倾斜的前景表面平面被平滑地捕获在地面真实视差图中，而估计的地图示出了梯形外观图。

除了估计的差距，通过SSIM产生的不确定性为基础的立体匹配算法是3D NR QA任务的一个有用的功能。
不确定度的直方图也随着立体像差的变化而变化。 图7显示了由白噪声，模糊，FF，JPEG压缩和JP2K压缩造成的自然立体像差的不确定性分布。 如图7所示，不确定度分布可预测地随着失真类型和立体像对失真（对称或不对称）的方式而改变。 对于对称畸变的立体图像，两幅视图中的高斯模糊失真，JP2K压缩或数据包丢失倾向于抑制立体像对中两幅图像的细节，因此差异估计的不确定性降低，从而产生不确定性的尖峰分布。 相反，白噪声和JPEG失真增加了立体匹配的不确定性并降低了不确定性分布的峰值。 对于不对称畸变的立体图像，除了高斯模糊失真之外，不确定性通常会由于无法匹配的失真而增加。
总之，用于3D NR QA预测的3D特征是局部归一化估计视差图的GGD拟合参数（mu，sigma），标准偏差，偏度和峰度，以及最佳拟合对数正态参数（ μ和σ），偏度和峰度。通过显示自然立体像对的拟合直方图和其畸变版本，我们可以直观地展示这些特征如何变化，并且可以用作特征的来源 预测感知的3D质量。 这些观察得到了独立训练和测试数据集的结果的支持，如实验部分所述。

C. Quality Estimation
一个两阶段QA框架来预测测试立体像对的质量。这遵循[49]中介绍的框架，并在2D IQA DIIVINE索引[5]中详细阐述。在他们的模型中，首先应用概率支持矢量分类器来确定折射立体像对的最可能的失真类型。然后使用支持向量回归器（SVR）来评估感知失真严重性。然而，与DIIVINE不同，3D NR IQA模型中的分类器旨在确定立体声对是对称还是非对称失真，而无需预测失真类型。这是非常重要的，因为不对称扭曲的立体声可能产生双眼相互竞争的3D体验，并且可能产生与对称扭曲的立体声相比不同的提取的3D特征。在我们进行的关于畸变立体声的人体研究中[15]，我们发现不对称扭曲立体声的感知质量并不能准确预测立体声视图的简单平均质量，尽管可以准确预测对称失真立体声的质量以这种方式。相同的特征向量用于分类和回归。在分类过程完成后，预测质量分数被计算为失真概率向量与对称/非对称质量分数向量的点积。

4 实验结果
第四部分的C. Performance有详细的性能分析比较。