【论文笔记】DSCN：基于深度孪生神经网络的光学航空图像变化检测模型

本文是论文《Change Detection Based on Deep Siamese Convolutional Network for Optical Aerial Images》的阅读笔记。

一、相关工作

根据网络的结构，现在变化检测的模型主要有三类，一是基于孪生神经网络的，二是基于伪孪生神经网络的，三是基于两通道的，孪生神经网络的两个分支是共享参数的，而伪孪生神经网络的两个分支是不共享参数的，两通道的是先把图像在通道维度concatenate起来，然后进行处理。在特征提取任务中，孪生神经网络更好有更好的解释性，因为两个分支共享参数，这意味着它们使用相同的方法从两张图像中提取特征，而由于变化检测中的两张图像是同源、具有相同属性的，所以通过相同方式提取特征更为自然。

二、方法和网络结构

文章贡献有：使用孪生神经网络来提取特征，使用加权对比损失来减少样本的不平衡，即不仅未变化的像素，而且变化的像素也被充分考虑到目标函数中。加权对比损失的优点是变化像素对的特征向量会远离彼此，而未变化像素对的特征向量会靠近彼此。

设计的孪生神经网络的具体结构如上。

1. 标记

• $X$：输入图像

• $x(i,j)$：输入图像在$(i,j)$位置处的灰度值向量

• $G_w(X)$：输出特征向量

• $D_w(X_1,X_2)$：两张输入图像之间的距离图

• $D_w(X_1,X_2{)}_{i,j}$：像素$x_1(i,j)$和$x_2(i,j)$之间参数化的距离函数（欧氏距离），简写为$D_{i,j}$，其公式如下：
  $$D_w{\left(X_1,X_2\right)}_{i,j}={\Vert G_w{\left(X_1\right)}_{i,j}-G_w{\left(X_2\right)}_{i,j}\Vert }_2$$

• $Y$：二值GT图，$y(i,j)=0$表示相关图像对未变化，$y(i,j)=1$表示变化

• $(Y,X_1,X_2{)}^k$：第$k$个标记的训练样本对

• $L_U，L_C$：分别表示为未变化像素对和变化像素对的损失函数

• $P$：训练样本对的个数

• $m$：margin，边际

2. 损失函数

损失函数定义如下：
$$\begin{array}{rl}\ell (W)& =\sum _{k=1}^{P}L\left(W,{\left(Y,X_1,X_2\right)}^k\right)\\ & =\sum _{k=1}^P\sum _{i,j}\left(1-y_{i,j}^k\right)L_U\left(D_{i,j}^k\right)+y_{i,j}^k{L}_C\left(D_{i,j}^k\right)\end{array}$$
$L_U,L_C$定义如下：
$$\begin{array}{rl}{L}_U\left(D_{i,j}^k\right)& =\frac{1}{2}{\left(D_{i,j}^k\right)}^2\\ L_C\left(D_{i,j}^k\right)& =\frac{1}{2}\left\{\max {\left(0,m-D_{i,j}^k\right)}^2\right\}\end{array}$$
对变化检测来说，变化像素对和未变化像素对的个数变化非常大，所以需要根据实际情况对损失函数进行加权，所以最终的损失函数如下：
$$\begin{array}{rl}L\left(W,{\left(Y,X_1,X_2\right)}^k\right)=& \sum _{i,j}\left(1-y_{i,j}^k\right)\frac{1}{2}{\left(D_{i,j}^k\right)}^2{w}_U\\ & +y_{i,j}^k\frac{1}{2}\left\{\max {\left(0,m-D_{i,j}^k\right)}^2\right\}{w}_C\end{array}$$
其中，$w_U,w_C$是权重系数，使用平均频率平衡，其公式如下：
$$\begin{array}{l}{w}_U=\frac{f_{\text{avg }}}{f_U}\\ w_C=\frac{f_{\text{avg }}}{f_C}\end{array}$$
其中，$f_U,f_C$是未变化和变化的像素对的频率，$f_{avg}$是平均类频率，实际上平均类频率为0.5，因为只有未变化和变化两类。

上图是不加权损失、加权损失、有KNN的加权损失的对比。

3、处理流程

网络的整体模型如上。

整个模型的处理流程如下：

• 使用直方图匹配进行辐射校正
• 图像$X_1,X_2$被输入到孪生神经网络中，然后产生两个特征向量$G_w(X_1),G_w(X_2)$，记为$F_1,F_2$
• 根据公式获得距离图$D_w(X_1,X_2)$，记为$D$，其中值越大相关像素对改变的可能性越大
• 初试变化图$T$同简单的阈值分割法获得
• 使用KNN算法对$T$进行提升，得到最终的变化图$M$

三、实验

使用的数据集是SZTAKI AirChange Benchmark Set数据集，其包括三个已经配准的光学航空图像数据集：SZADA, TISZADOB和ARCHIEVE，其中SZADA 和TISZADOB被用作训练和测试。使用的baseline为CXM和SCCN，使用的评价指标有正确率Pr、召回率Rc和F值Fr。

不同方法在两个数据集上的结果对比。

a~f分别是两张输入图像、GT、CXM的结果、SCCN的结果、DSCN的结果。