【论文精读】Noiseprint: a CNN-based camera model fingerprint

paper：https://ieeexplore.ieee.org/document/8713484

开源代码：https://github.com/grip-unina/noiseprint

文献分类

1. 基于semantic或者physical不连续性
2. 像素级的统计方法
   1. model-based approach
      1. 目的：建立针对某些特征的数学模型
      2. 缺点：每一种方法的适用范围都较窄
      3. 包括：lens aberration，camera response function，color filter array（CFA），JPEG artifacts
   2. data-driven approach
      1. 目的：使用大规模样本进行算法训练
      2. 在所有的方法中，依赖photo-response non-uniformity（PRNU）的算法是比较流行的，并且性能较好。
      3. noise residual还可以用于异常检测发现局部图像篡改中【25-28】
      4. 大多数data-driven方法作用于noise residual，将图片减去denoising算法得到的图像估计或者空域/频域高通滤波【19-24】得到

PRNU pattern: device fingerprint

在文献【30】中，作者显示每一个独立的设备对其所有照片上留有一个独特的mark，也就是PRNU模式。这是由于设备加工过程中的不完美性导致的。

由于PRNU的唯一性和稳定性，其被用于设备指纹（device fingerprint），并被用于图片伪造检测任务中。

• source identification【31】
• image forgery detection and localization【30】【32-35】

缺点：

• 一个camera需要大量图像才能提取较好的PRNU估计
• 如果图像中内容比较模糊（相对noise），则也会大大影响PRNU的提取

Noiseprint: camera model fingerprint

为了解决PRNU的问题，作者提出了一种新的提取noise residual的方法。

目标：

• 增强语义内容的提取，同时强化所有的相机相关的artifacts
• 没人先验知识，没有标注样本

原理：

• 采用Siamese Network的理念，使用相同或不同相机的images进行配对训练。
• 一旦训练完成，网络参数固定，用于对任意相机model拍摄的images，不论该model是否在训练集中。
• 因此，本方法是完全无监督的，被认为是camera model fingerrint。

需要注意的是，图像篡改将在noiseprint中留下明细的痕迹，因而可以只是定位篡改的部分。