【论文笔记】DTCDSCN：基于双任务约束的孪生卷积神经网络的变化检测模型

本文是论文《Building Change Detection for Remote Sensing Images Using a Dual Task Constrained Deep Siamese Convolutional Network Model》的阅读笔记。

文章解决的是建筑物变化检测问题。在该问题中，由于提取的特征不足够具有辨别性，因此导致识别出的区域不完整或者区域边界不规则。为了解决该问题，文章提出了一个双任务约束的孪生卷积神经网络（dual task constrained deep Siamese convolutional network, DTCDSCN）。它由三个子网络构成：一个变化检测网络和两个语义分割网络（SSN）。此外还引入了双注意力模块（dual attention module, DAM），以及改善了focus loss来抑制样本不均衡的问题。

一、相关工作

建筑物变化检测算法主要可分为两类，一类是分类后比较法，另一类是直接分类法。分类后比较法首先提取两张图像中的建筑物，然后通过比较提取到的建筑物图获取变化检测的分类结果，这要求建筑物提取时精度比较高。直接分类法首先生成一个相似特征图，然后分析该特征图得到变化图。

文献3提出了一个基于形态学建筑物指数的方法，该方法结合了形态学指数、空间特征和形状，并根据设定的阈值抽取建筑物变化的区域。文献4提出了基于深度学习的方法，该方法使用了孪生神经网络来提取相似特征图，然后使用KNN将其聚类来获取变化的区域。文献6提出了SegNet，该方法的缺点是1. 对建筑物小的空间和结构的变化不敏感；2. 提取的变化区域往往带有洞，或者边界是不规则的。

上图中a, b, c, d, e列分别是2016年的图像、2012年的图像、SegNet的结果、DTCDSCN的结果、ground truth。

文章主要针对以上第2条缺点做了改进。可以发现上图中c列所示，由于SegNet能学到像素级的特征，因此效果是比较好的，但是预测的变化区域往往不够完整。而文章所提出的物体级的网络可以得到更准确的结果。文章的贡献有三：

• 提出了一个新颖的建筑物变化检测的模型，可以同时进行建筑物变化检测任务（像素级）和建筑物提取任务（物体级），即语义分割任务。这两个任务共享相同的特征提取层；
• 引入了双注意力模块，能更好的利用通道和空间信息；
• 改善focus loss（FL），提出了变化检测损失（CDL），以解决样本不均衡的问题（变化的样本数量要少于未变化的样本数量，这就叫导致了样本集的极不均衡。）。

二、网络结构和方法

整个网络包括一个变化检测网络和两个语义分割网络SSN，整个网络的输出是一个变化检测图和一个分割结果图。

变化检测网络是基于孪生神经网络的，其网络结构具有两个共享权重的编码器，以及一个解码器。采用SE-ResNet作为基础的编码器模块。为了利用全局上下文信息，引入了空间特征金字塔池化模块作为中心块，这样可以增大特征图的感受野，并嵌入不同尺度的上下文特征。解码器使用D-LinkNet，其中每个变化检测块（CD block）都有3个输入。考虑到来自不同空间位置和不同通道的特征可能会相关，以及收到注意力机制的启发，在解码器部分加入了DAM注意力模块，因此可以提高特征提取的辨别能力。DAM的结构如下图中e所示。

上图中a，b，c，d，e分别表示网络结构、中心块的组成情况、最终块的组成情况、解码器块的组成情况、双注意力模块的组成情况。

而语义分割网络SSN的结构和变化检测网络是相似的。在语义分割任务中，有2个共享权重的SSN。

在变化检测网络中使用CDL损失函数，对于SSN网络使用交叉熵损失函数。
$$\begin{array}{l}{\ell }_{ss}=\mathrm{Binary}\text{ CrossEntropy }(\hat{y};y)\\ {\ell }_{cd}=\mathrm{CDL}(\delta ;\theta ;\hat{y};y)\\ L=\alpha {\ell }_{ss}+2\beta {\ell }_{cd}\end{array}$$
其中$y$是ground truth，$\hat{y}$是预测结果，$\delta$是CDL中变化样本的权重，$\theta$是CDL中未变化样本的权重，$\alpha$和$\beta$是两个权重系数。CDL的计算公式如下：
$$CDL(\delta ;\theta ;\hat{y};y)=\{\begin{array}{l}-(2-\hat{y}{)}^{\delta }\log (\hat{y}),y=1\\ -(1+\hat{y}{)}^{\theta }\log (1-\hat{y}),y=0\end{array}$$
FL函数同时考虑了样本集的不平衡性和样本集的难度。这使得容易分类的负片占据了损失的大部分，并且主导了梯度，对于相同难度的样本，FL函数计算的变化样本和不变样本的权重将是线性的。然而，由于样本集的不平衡性和样本集的难度都会影响损失函数，因此变化样本和不变样本的权重之间不可能是线性关系。

三、实验

实验使用的是WHU建筑物数据集，它既包含语义标签又包含变化标签，每张图大小是$32507\times 15354$的，需要将其裁剪成不重叠的$256\times 256$大小的图片，然后划分训练集、验证集和测试集分别6096、762和762张图片。

使用mini-batch的ADAM优化器，batch size设为16，学习率为$1e^{-3}$，评价指标选用IoU、F1值、准确率和召回率。并且采用随机旋转和反转的方式进行数据增强。在损失函数中，两个SSN的权重设为0.25，变化检测网络的权重设为0.5。

上表是消融实验的结果，验证每个部分对网络效果的影响，DA表示数据增强。DAM注意力、CDL损失和数据增强的使用都提升了效果。

上图中a~h分别是2016年图像、2012年图像、SCDN的结果、使用DAM的SCDN的结果、使用DAM和FL的SCDN的结果、使用DAM和CDL的SCDN的结果、使用DAM和CDL的SCDN的结果（原文中是这样写的，应该写错了）、ground truth。提出的模型能够解决提取的变化区域有空洞和边界不规则的问题。

上图是不同变化检测方法的结果对比表。

与语义分割模型的对比。

分类后处理模型的结果。

分别是2011语义分割标签、2016语义分割标签和两个分别标签的对比。