本文是论文《A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images》的阅读笔记。
文章提出了一个深度监督图像融合网络DSIFN,首先使用量分支的全卷积网络进行特征提取,然后再用深度监督的差异判别网络DNN进行变化检测。为了提升变化图边界的完整性和内部的致密性,使用多层次的深度特征与图像差图特征通过注意力机制进行融合。
一、方法和网络结构
现有的深度学习方法有以下限制:1. 变化图边界的完整性和内部的致密性不好;2. 在双分支网络结构中,容易出现梯度消失;3. 怎么样在不同域中进行有效的特征融合是个问题。
上图是IFN网络的结构示意图。
上图是DNN的示意图。
深度图像融合网络IFN包括深度特征提取网络DFEN,差异判别网络DDN。DFEN的backbone是VGG-16,文章第一次尝试使用预训练网络进行端到端的变化检测任务。使用的注意力机制包括空间注意力和通道注意力,和CBAM注意力机制类似,大家可以去我博客搜一下,这里不再赘述。数据增强包括:1.图像旋转、2. 图像翻转、3. 增加噪声、4. 图像模糊、5. 图像平滑。
二值交叉熵损失公式如下:
L
b
c
e
=
−
t
i
log
(
y
i
)
−
(
1
−
t
i
)
log
(
1
−
y
i
)
L_{b c e}=-t_{i} \log \left(y_{i}\right)-\left(1-t_{i}\right) \log \left(1-y_{i}\right)
Lbce=−tilog(yi)−(1−ti)log(1−yi)
其中,
t
i
t_i
ti表示在像素
i
i
i处的GT值,
t
i
=
1
t_i=1
ti=1表示发生了变化,
t
i
=
0
t_i=0
ti=0表示未发生变化;
y
i
y_i
yi表示像素
i
i
i处变化的概率;
1
−
y
i
1-y_i
1−yi表示未变化的概率。文章中使用的sigmoid二值交叉熵损失,其公式如下:
L
s
i
g
−
b
c
e
=
−
t
i
log
(
σ
(
y
i
)
)
−
(
1
−
t
i
)
log
(
σ
(
1
−
y
i
)
)
L_{s i g_{-} b c e}=-t_{i} \log \left(\sigma\left(y_{i}\right)\right)-\left(1-t_{i}\right) \log \left(\sigma\left(1-y_{i}\right)\right)
Lsig−bce=−tilog(σ(yi))−(1−ti)log(σ(1−yi))
其中
σ
\sigma
σ表示sigmoid激活函数,为了弱化不平衡类的影响,文章结合了sigmoid二值交叉熵损失和dice系数损失,dice系数损失的定义如下:
L
dice
=
1
−
(
2
y
i
t
i
)
/
(
y
i
+
t
i
)
)
\left.L_{\text {dice }}=1-\left(2 y_{i} t_{i}\right) /\left(y_{i}+t_{i}\right)\right)
Ldice =1−(2yiti)/(yi+ti))
总损失函数如下:
KaTeX parse error: Expected '}', got '_' at position 17: …L=L_{\text {sig_̲bce }}+L_{\text…
二、实验
实验选用的baseline模型有:Unet++_MSOF、FC-Sima-conc、FC-Sima-diff、FCN-PP(Fully convolutional network with pyramid pooling)。
上图是多种变化检测方法的对比。
上图是大变化区域的检测结果,a~h分别是T1图像、T2图像、GT图像、IFN结果、Unet++_MSOF结果、FCN-PP结果、FC-Siam-conc结果、FC-Siam-diff结果。
上图是小变化区域的检测结果,a~h分别是T1图像、T2图像、GT图像、IFN结果、Unet++_MSOF结果、FCN-PP结果、FC-Siam-conc结果、FC-Siam-diff结果。