深度学习在遥感图像处理中的六大应用

       2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。

       深度学习摧枯拉朽般地实现了各种任务，使得似乎所有的机器辅助功能都变为可能。无人驾驶汽车，预防性医疗保健，甚至是更好的电影推荐，都近在眼前，或者即将实现。

那么，深度学习算法在遥感图像处理领域是否也能发挥它的“神奇”功效，在哪些方面遥遥领先于传统方法呢？小编整理了《中国图象图形学报》2017—2019年的高关注论文，总结了深度学习在遥感图像处理中的六大应用：

• 遥感图像检索

• 遥感图像融合

• 遥感图像超分辨率重建

• 高光谱图像分类

• 高分辨率遥感图像分类

• SAR图像目标识别

01

遥感图像检索

如何快速且高精度地对海量遥感图像数据进行高效检索？

传统的基于内容的图像检索(CBIR)系统主要通过提取低层次的图像特征(颜色、纹理、形状)进行检索，由于没有获取图像的高层语义特征，故存在着低层视觉特征与用户对图像理解的高层语义不一致，从而导致“语义鸿沟”问题的产生。

而在图像检索过程中，卷积神经网络(CNN)通过多层次的网络学习，针对提取到的丰富特征进行检索，使得检索精度大大提升。

 

02

遥感图像融合

 

全色图像的空间细节信息增强和多光谱图像的光谱信息保持通常是相互矛盾的，如何在这对矛盾中实现最佳融合效果？

传统的多光谱与全色图像的融合方法主要包括亮度色调饱和度(IHS)法，主成分分析(PCA)法以及正交变换(GS)法等分量替代方法。这些方法能够有效提高融合图像的空间分辨率，但存在较为严重的频谱失真问题。

近年来，以小波变换为典型的多分辨率分析方法能够得到更好的多光谱图像融合效果，但存在不能有效地表示2维图像信号的缺陷。

深度学习被广泛应用于图像处理的今天，能否借助其思想，提升多光谱与全色图像的融合效果呢？

 

03

遥感图像超分辨率重建

 

如何经济便捷地获取高分辨影像一直是遥感领域的一大挑战，超分辨率(SR)重建技术恰为此类问题的解决提供了思路。

 当前主要的SR重建方法有3类：插值法、重构法和学习法。插值法是最早的SR重建方法，复杂度最低，实时性好，但结果中边缘效应明显，对细节恢复较差。

重构法是一类以时间宽度换取空间分辨率提升的方法，操作复杂，效率较低，通用性较差，目前针对遥感图像的SR重建大多仍停留在此类方法上。

学习法近年迅速发展，其克服了重构法分辨率提高倍数难确定的限制，且可面向单幅图像，是当前SR重建的主流发展方向。

学习法一般依靠构造高、低分辨率图像库，通过样本学习得到二者间内在对应关系，目前常见的基于学习的SR重建方法有邻域嵌入法、稀疏表示法和卷积神经网络(CNN)法。

 

04

高光谱图像分类

 

针对高光谱图像分类问题，既要考虑分类模型的有效性，也要充分利用丰富的空间和光谱信息。

高光谱遥感图像数据包含丰富的空间和光谱信息，但由于信号的高维特性、信息冗余、多种不确定性和地表覆盖的“同物异谱”及“同谱异物”现象，导致高光谱数据结构呈高度非线性。

与传统的人工设计特征相比，基于深度学习的图像分类能够自动提取从底层到高层语义的抽象特征，将图像转换成更容易识别的高级特征，经分类器实现图像像素到标签的映射。

3D-CNN（3D convolutional neural network）能够利用高光谱遥感影像数据立方体的特性，实现光谱和空间信息融合，提取影像分类中重要的有判别力的特征。

 

05

高分辨率遥感图像分类

 

目前CNN模型在高分辨卫星图像分类领域已经有了许多应用，但是依然存在问题。

首先，CNN模型的训练需要大量有标签样本。由于高分辨卫星图像分类领域的训练样本缺乏，上述方法普遍使用交叉验证或者随机选取的方法在有限数据上进行模型的训练和测试，模型得不到充分的训练，并且结果的说服力不足。

其次，由于有标签样本数量的限制，既不能直接训练CNN模型，也无法充分微调深层CNN模型。再次，上述方法普遍使用了CNN模型堆叠或CNN特征和传统分类器的堆叠，增加了模型和计算的复杂度。

因此，使用卷积神经网络进行高分辨率遥感影像分类需首先考虑以上问题。

06

SAR图像目标识别

 

SAR图像自动目标识别在国民经济和国防建设中有着广泛的应用，如海洋监测系统、舰船目标识别、矿藏探测等。

目前主要的SAR图像目标识别算法包括基于模板匹配的方法、基于支持向量机的方法、基于Boosting的方法、基于稀疏表示的方法等。

基于卷积神经网络的深度模型已经开始应用于SAR图像目标识别，通过学习得到的特征进行分类能够取得较高的识别精度，但是基于深度卷积神经网络的SAR目标识别方法需解决以下问题： 

• 较少的训练样本

• 深度模型的优化设计

• 较长的训练时间

来源：中国图象图形学报

https://mp.weixin.qq.com/s/nRMF0-WD2ij3xkq_PG4v9g