文献阅读笔记4 三通道CNN

Learning structure of stereoscopic image for no-reference quality assessment with convolutional neural network

• 摘要
  本文提出了一种基于卷积神经网络(Cnn)的立体图像结构的无参考质量评估方法，该方法以立体图像中的图像块为输入，可以学习到对人的感知敏感的局部结构，并具有感知质量评价的代表性，通过将多个卷积层和最大汇聚层叠加在一起，可以构造出低卷积层中的学习结构。多层感知器(Mlp)被进一步用于将学习到的表示归纳为最终值，以指示立体图像补丁对的感知质量。在不同的输入下，设计了两种不同的cnn，即一列cnn，其中只有来自差分图像的图像块作为输入；三列cnn具有左视图图像、右视图图像和三列cnn。差分图像作为输入，基于大量的二维自然图像学习和传输立体图像的CNN参数，通过对LIVE phase-I、LIVE phase-I和IVC立体图像数据库的评价，实现了立体图像质量评估的最先进性能，甚至与现有的全参考质量指标相媲美。

---

• 2.3节 立体图像不同于二维自然图像，因为左右视图共同提供深度感知，因此立体图像的感知评价需要考虑左右视图的信息，我们提出了两个CNN来充分利用立体图像的结构，这些结构对质量感知是敏感的。如[45]所示，立体图像左视图和右视图之间的差异图像比左视图或右视图对质量评价的重要性更大。首先，我们引入了一个单列CNN来了解差异图像的结构，以达到质量评价的目的。

---

• 3节 单通道one-column CNN
  图中示出了用于学习差分图像结构的提议的一列cnn。1.构造的cnn的输入是从差分图像中采样的图像块，采用两层卷积来生成中间表示，每一层后面跟着一个最大池层，这可以进一步减少上层的计算量。在卷积和最大池过程中，采用两个完全连接层的多层感知(Mlp)将表示总结为一个最终得分表示。输入图像补丁的感知质量。

• 3.1预处理
  介绍了差分图像的获取
  
  文章中介绍到对于nr质量评估，由于原始(无失真)图像缺失，无法从失真图像中准确地识别视差。类似于[34，45，51]，我们直接从左图像和右图像中计算差异图像，如：

• 3.1.1 卷积过程
  卷积过程是MLPs的生物启发变体，它利用空间上的局部相关性，通过执行局部连通模式。本文采用一个小的接受场定义为3~3的卷积过程，它是最小的大小来捕捉左/右、上/下、中心的概念，这是因为通过叠加2层3x3卷积层很容易获得一个有效的接受场为5x5，通过叠加3层3x3卷积层得到7x7的有效接收场，如[39]所述，与1层7x7卷积层相比，3层3x3卷积层包含更多的非线性层，从而使决策函数更具鉴别性。并且3x3堆叠的参数更少。

• 3.1.2 最大池化
  介绍了最大池化与最大池化的两个作用

• 3.1.3 多层感知器
  使用两个全连接层，生成评分（S）
  

• 3.2 Three-column CNN 三通道CNN
  除了差分图像外，左视图和右视图图像对于立体图像质量评价也是非常重要的，因此，我们提出了一种三列CNN的新架构，它共同考虑了内容属性(从左视图和右视图图像)和视图差异属性(来自不同图像)，并在图中给出了三列CNN的结构。

---

• 4 实现细节
• 4.1 网络参数配置
  介绍了输入图像尺寸，卷积核尺寸，步长以及池化层尺寸。
• 4.2 训练过程
  介绍了损失函数，和随机梯度下降(SGD)算法和反向传播的方法。
  然而，由于在训练集中只有少量具有注释主观分数的立体图像可用，因此可能无法很好地调整CNN以适应我们模型中的学习结构。 为了解决这个问题，我们转向使用2D自然图像进行预训练，以对CNN参数进行初始估计，然后将所学习的参数从2D图像传输到立体图像。
• 4.3 2D-to-stereoscopic transfer
  图像块归一化
  直方图距离
  参数初始化

---

• 5 experiment实验
• 5.1 数据集介绍
• 5.2 结果分析
  性能和交叉验证
• 5.2.4. Effects of convolution kernel size
• 5.2.5. Effects of transfer from 2D images to stereoscopic images