文献阅读笔记9 Full-reference quality assessment of stereopairs accounting for rivalry （Cyclopean image）

Full-reference quality assessment of stereopairs accounting for rivalry （Cyclopean image）

---

LIVE 3D lab推荐的两篇论文之一

摘要
中间图像产生立体设计有一个感知质量接近的单眼图像。我们假设对中间图像进行立体QA与人类主观判断产生更高的相关性。实验结果证实了假设，表明本文提出的方法明显优于传统的二维度量预测时，立体显示图像质量可能是不对称的扭曲。

---

2立体失真
为了解释3D IQA建模框架的基本思想，我们首先回顾了有关三维失真感知的一些研究成果(2.1节)，然后重点讨论了双目竞争的高度相关现象(2.2节)及其对畸变立体图像质量的影响

本研究主要观察到两点：第一，我们发现对于模糊、jpeg和jp2k失真的立体图像，立体图像的感知质量不能用左右图像的平均质量准确地来描述，但对于白噪声畸变立体图像平均质量可能是的一个很好的质量预测器，我们对jpeg失真图像的研究结果与文献报道的结果不同。第二，我们没有观察到任何深度掩蔽效应，即深度活动的失真。然而，对于被模糊、jpeg或jp2k失真扭曲的立体图像，我们发现了一个令人惊讶的相反：人类更容易发现与高度变化同时存在的扭曲，即存在一种促进效应。对于所有失真类型，通常不能通过两幅立体图像的平均质量来准确地预测立体图像；而且它取决于失真类型，因此将这种观察纳入三维立体Qa模型是明智的。

---

2.1双目竞争
双眼竞争是当两只眼睛在同一视网膜位置查看不匹配图像时发生的感知效应。在这里，失配意味着两只眼睛接收到的刺激足够不同，导致匹配失败或影响立体感。双眼匹配的失败触发双眼竞争，其以各种方式经历，即左眼图像和右眼图像之间的失败融合感或双稳态交替。图2显示了当失配刺激存在时双眼竞争的一个例子。在图2中，在区间（t0，t1）中，观察者看到来自左眼（箭头）的刺激。然后，从右眼（星形）开始的刺激直到时间t2为止，之后观察者再次看到一个箭头。当观察者正在经历双眼竞争时，这种波动会持续下去。波动周期可以从几分之一秒到几秒不等，并且可以取决于刺激的颜色，形状和纹理。双目抑制[31]是双目竞争的特例。当经历双眼抑制1时，当观察不匹配的立体声刺激时，两幅图像之间不会出现激烈的波动。相反，只有其中一个图像被看到，而另一个隐藏意识不到。图3显示了一个双眼抑制的例子。

---

3失真立体图像质量评价框架
逻辑目标是估计当立体图像对以立体方式呈现时在观察者头脑中形成的真实的单眼图像的质量。
“cyclopean” image ：假定的合成图像
cyclopean image ：观察者脑中的图像

作为符号，今后我们仍然使用术语“cyclopean”图像来表示合成图像，而环形图像表示在观察者的脑海中形成的图像。通过对合成的“cyclopean”图像进行3D质量评估，我们希望能够在真正的环形图像上产生准确的3D质量估计值。模型框架下面的概念如图4所示。

给定立体图像，通过立体算法生成估计的视差图，而使用带通滤波器组在立体图像上生成Gabor滤波器响应。根据立体图像对，估计的视差图和Gabor滤波器响应来合成环形图像。从参考立体像对生成一个环形图像，并从测试立体像对计算另一个“环形”图像。最后，将全参照2D QA模型应用于两个摆幅图像以预测3D质量分数。

---

3.1视差估计
立体算法（视差估计）设计的研究几十年来一直是一个激烈探究的话题。然而，除了低复杂度之外，在3D QA中应该使用的立体匹配算法类型还没有达成共识。此外，关于在不同失真方案下运行的立体声算法的性能的文献很少。因此，我们部署了各种这些高效的立体声深度寻找算法，这些算法的运算常数与我们前面介绍的用于评估感知3D质量的框架有很大不同。
为了深入了解立体声算法对3D QA模型性能的影响，根据三维立体声算法的复杂性和性能选择了三种立体声算法。一般来说，更好的立体声算法（基于Middlebury数据库的结果[22]）具有更高的计算复杂度，并且我们在选择立体声匹配模型时平衡了这种折衷。
第一种算法的复杂度最低。它使用非常简单的绝对差分和（SAD）亮度匹配功能，没有平滑度约束。立体像对中像素的视差值是通过最小化该像素与另一视图中其水平移位像素之间的SAD来唯一计算的，其中通过选择较低视差解来打破关系。
第二种算法[43]在三种模型中具有最高的复杂度。这种基于分段的立体算法在Middlebury数据库上提供了极具竞争力的结果[22]。
第三种是基于SSIM的立体算法，它使用SSIM分数来选择最佳匹配。立体像对的视差图是通过沿着水平方向最大化立体像对之间的SSIM得分而产生的，再次通过最小视差标准来解决关系。

---

3.2Gabor filter bank
正如前面所讨论的，当立体视觉的两幅图像呈现不同程度或不同的失真特征时，通常无法从两幅图像的平均质量来预测立体视3D图像的主观质量。双目对抗是这一观察的合理解释。Levelt[34]进行了一系列实验，清楚地证明了双目对抗/抑制受到低水平感官因素的强烈控制。“刺激强度”一词指出，对比较高或轮廓较多的刺激倾向于主导竞争。受此结果的启发，我们利用左右图像上Gabor滤波器组响应的能量来模拟刺激强度，并模拟“cyopean”图像质量的竞争性选择。Gabor滤波器组从亮度和色度通道中提取特征。滤波器密切模拟初级视觉皮层的频率方向分解，并在空间和频率上以高度局域的方式捕获能量[44]。定义了一个复杂的2d Gabor滤波器。

---

3.3 Cyclopean image

---

4.2.2 Influence of stereo matching algorithms
(之后有点没看懂)
the ground truth depth map
三种选择的立体声算法对地面真相的不良像素率在表8中有报告。显然，当应用于失真图像时，所有算法的性能都一样差。由于立体声问题的不合适性，这种鲁棒性的缺乏并不令人意外，而且由于这些(或任何其他)立体声算法的设计都没有一个能在存在失真的情况下优于其他算法。

例如，如图11所示白噪声干扰了基于ssim的立体匹配算法，而人的观测器很容易将立体图像融合。另外，我们使用高分辨率激光距离扫描仪获得了地面真实图，地面真实图在平滑区域和深度纹理区域都有较好的视差分辨率。

接下来，我们讨论差视差估计性能对3D立体声QA的影响。业绩的“巨石”模型使用的地面真实的差距（准确的视差）、估计的视差、没有视差信息的性能报告见表9。表9示出了使用地面实况和估计的差异获得的性能没有显著差异，尽管非常简单的基于SAD的立体算法的性能略低于其他两个立体算法。所有三个显著优于无视差情况，这表明当预测立体立体图像在数据库中的质量时，估计的视差能够提供有用的信息。这些结果表明，在3D图像质量评估算法设计的背景下，我们不应该使用坏像素率来评估立体算法。注意，人类视觉中的深度信号占据比亮度空间信道（52—54）窄得多的带宽，这表明低分辨率视差图对于3D质量评估的任务可能是足够的。