文献阅读笔记6 Convolutional Neural Networks for No-Reference Image Quality Assessment（KANG）

Convolutional Neural Networks for No-Reference Image Quality Assessment

---

• 摘要
  该网络由一个具有最大和最小池的卷积层、两个完全连接的层和一个输出节点组成，在网络结构中，特征学习和回归。

• 3 CNN for NR-IQA
  提出了利用CNN对图像质量进行估计的框架如下：给定灰度图像，先进行对比度归一化，然后对不重叠的子块进行采样，然后用CNN估计每个子块的质量分数，并对每个子块的质量分数进行平均值，得到图像的质量估计

• 3.1 Architecture
  
• 3.2 Local Normalization
  以往的NR-IQA方法，如brisque和cornia，通常采用对比归一化。在本文中，我们采用了一种类似于[9]的简单的局部对比度归一化方法。
  结果表明，较小的标准化窗口（文中3x3）大小可以提高性能。在实践中，我们选择p＝q＝3，因此窗口大小比输入图像块小得多。注意，在这个局部标准化下，每个像素可能有不同的局部均值和方差。局部标准化很重要。我们观察到使用较大的标准化窗口会导致性能下降。
  值得注意的是，当使用cnn进行目标识别时，通常对整个图像采用全局对比度归一化，这种归一化不仅缓解了早期使用乙状结肠神经元时常见的饱和问题，而且使网络对光照和对比度变化具有较强的鲁棒性。对于nr-IQA问题，应局部应用对比度归一化。此外，亮度和对比度的变化可以被认为是扭曲的。在一些应用中，我们主要关注图像退化引起的失真，如模糊、压缩和加性噪声。
• 3.3. Pooling
  max min
• 3.4. ReLU Nonlinearity
  传统的乙状结肠或tanh神经元不同，我们在两个完全连接的层中使用了校正的线性单元(Relus)[11]。[7]在一个深层次的cnn中演示了relus使网络比使用tanh单元训练速度快几倍。

• 3.5. Learning
  我们训练我们的网络在不重叠的32×32块子图像上进行训练，为了训练，我们给每个子图像分配一个质量分数作为其源图像的地面真实分数。我们可以这样做，因为我们的实验中的训练图像具有均匀的失真。在测试阶段，我们平均每个图像的预测补丁分数，以获得图像质量评分。与在给定数据集上使用整个图像相比，通过小块作为输入，我们有数量要大得多的训练样本，这满足了CNN的需要。
  最近，成功的神经网络方法[7，5]报道了dropout 和动量改善学习。在我们的实验中，我们还发现这两种技术提高了性能。dropout是一种防止神经网络过度拟合的技术。通常，在训练阶段，神经元的输出设置为零，概率为0.5，在测试阶段被除以2。在我们的实验中，由于在所有层中应用丢包大大增加了达到收敛的时间，所以我们只在第二个完全连接的层上应用丢失。

• 4 Experiment

• 4.3 Effects of Parameters
• 4.5 Local Quality Estimation
  我们的cnn在小图像块上测量质量，因此它可以用来检测低质量/高质量的局部区域，并给出整个图像的全局评分。然后我们使用我们在现场训练的模型对这些合成图像进行局部质量评估。我们以8的步幅扫描16×16块，并将预测的分数归一化到[0，255]范围内，以便可视化。