【论文笔记】DASNet：基于双注意力全卷积孪生神经网络的高分辨率卫星图像变化检测模型

棉花糖灬

已于 2022-06-15 08:44:29 修改

阅读量5.4k

点赞数 7

分类专栏：变化检测文章标签： DASNet 变化检测双注意力机制孪生神经网络

于 2021-03-05 14:01:23 首次发布

本文链接：https://blog.csdn.net/zuzhiang/article/details/114394046

版权

变化检测专栏收录该内容

13 篇文章 53 订阅

订阅专栏

本文是论文《DASNet: Dual attentive fully convolutional siamese networks for change detection in high-esolution satellite images》的阅读笔记。

现有的模型只要关注两幅输入图像的不同信息，对于伪变化信息缺乏鲁棒性。为解决该问题，文章提出了基于双注意力全卷积孪生神经网络的变化检测模型DASNet。此外提出了加权的双边际对比损失WDMC（weighted double-margin contrastive loss）来能解决样本不平衡的问题，该损失可以对无变化的特征注意力进行惩罚，而增加对变化特征的注意力。在CDD（change detection dataset）和BCDD（building change detection dataset）两个数据集上的实验显示，效果比选用baseline都好。

一、相关工作

遥感图像变化检测主要包括特征提取和变化区域识别两步。

根据研究目标的不同，传统方法可以分为两类：基于像素和基于物体的变化检测。基于像素的变化检测通过直接对比像素的光谱信息或纹理信息产生一张差图，并通过阈值分割或聚类的方法产生最终的结果图。这种方法虽然易于实现，但忽略了空间上下文信息并且会产生大量椒盐噪声。基于物体的变化检测将图像分成不相连的物体，并使用光谱、纹理、结构和几何信息分析图像之间的差异。传统的方法有：变化向量分析（CVA）、主成分分析（PCA）、多元蚀变检测（MAD）、慢特征分析（SFA）等。

基于深度学习的变化检测方法也可以分为两类：一是使用FCN通过最大化边界来检测变化，而不是直接测量变化。二是通过从测量特征对之间的距离来检测变化。但是现有的方法对伪变化鲁棒性较低，原因有二：一是能够有效区分变化区域和未变化区域的特征较少，且对噪音、角度、阴影等因素敏感。二是变化数据和未变化数据严重不平衡，未变化的样本数远大于变化的样本数。基于深度学习的方法有：SCCN、DSCN、CDNet、BiDateNet、FC-EF, FC-Siam-Conc, FC-Siam-Diff等。

WDMC损失通过设置权重系数缓和未变化区域的影响，并通过设置双边际减轻未变化特征对和变化特征对的不平衡性。

二、网络结构和方法

1. 网络结构

在这里插入图片描述

上图是网络的整体结构。

在这里插入图片描述

以上两图分别是空间注意力和通道注意力机制示意图。

2. 损失函数

传统的对比损失公式如下：
$\begin{aligned}\text { contrastive loss }=& \sum_{i, j} \frac{1}{2}\left[\left(1-y_{i, j}\right) d_{i, j}^{2}\right.\\&\left.+y_{i, j} \max \left(d_{i, j}-m, 0\right)^{2}\right]\end{aligned}$
其中 $f_0,f_1$ 为两张输入图像， $d_{i,j}$ 表示 $f_0,f_1$ 在 $(i, j)$ 处的特征向量之间的距离， $m$ 是变化特征对的边际， $y = 0$ 表示像素对未变化， $y = 1$ 变化。

只有当未变化特征对之间的距离为0时，传统的对比损失才不会对损失值有贡献。然而在遥感变化检测中，未变化区域受很多因素的影响，当距离超过一定的边际时就会对损失值有贡献。这导致了对变化和未变化的不平衡性。

WDMC损失的公式如下：
$\begin{aligned}W D M C \text { loss } &=\sum_{i, j} \frac{1}{2}\left[w_{1}\left(1-y_{i, j}\right) \max \left(d_{i, j}-m_{1}, 0\right)^{2}\right.\\&\left.+w_{2} y_{i, j} \max \left(d_{i, j}-m_{2}, 0\right)^{2}\right]\end{aligned}$
其中 $m_1,m_2$ 表示未变化样本对的边际和变化样本对的边际， $w_1,w_2$ 表示未变化特征对的权重和变化特征对的权重，公式如下：
$\begin{array}{l}w_{1}=\frac{1}{P_{U}} \\w_{2}=\frac{1}{P_{C}}\end{array}$
其中， $P_U,P_C$ 是变化和未变化像素对的频率。

受到深度监督策略的启发，在计算WDMC损失时，通过空间注意力模块获取的特征对、通过通道注意力模块获取的特征对和最终输出的特征对三者loss的和作为WDMC损失，其中 $L_{sa},L_{ca},L_{e}$ 分别表示上述提到的3个子损失，总损失公式如下：
$\operatorname{Loss}=\lambda_{1} L_{s a}+\lambda_{2} L_{c a}+\lambda_{3} L_{e}$
使用VGG-16或ResNet50作为Siam-Conv网络的结构， $w_1,w_2$ 是数据集中变化区域和未变化区域的像素率， $m_1,m_2$ 必须通过手工调整以优化模型的效果。

三、实验

实验选用的数据集是：CDD（change detection dataset）和BCDD（building change detection dataset）数据集。

在这里插入图片描述

上图是BCDD数据集的样例图。

在这里插入图片描述

a~e分别是未变化图、变化图、标签、DASNet（VGG-16）的余弦相似性距离图、DASNet（VGG-16）的L2距离图。

选用的评价指标有：precision §, recall ®, F1 score (F1), and overall accuracy (OA)。在变化检测任务中，准确率越高，错检的结果越少；召回率越大，被漏检的预测结果越少；F1值和OA是预测结果的整体评价指标，它们的值越大，预测结果越好。其公式如下：
$\begin{array}{c}P=\frac{T P}{T P+F P} \\R=\frac{T P}{T P+F N} \\f_{1}=\frac{2 P R}{P+R} \\O A=\frac{T P+T N}{T P+T N+F P+F N}\end{array}$