图像检索研究进展：浅层、深层特征及特征融合

https://blog.csdn.net/TTdreamloong/article/details/79798817?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-8.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-8.nonecase

基于内容的图像检索(Content-based Image Retrieval, CBIR)方法利用从图像提取的特征来进行检索。

常用的图像特征主要有颜色、纹理和形状，包括局部特征和全局特征。

      局部特征是基于图像的某个区域提取的图像描述符，如尺度不变特征SIFT(Scale Invariant Feature Transform)。（相当于CNN网络的浅层卷积部分）；局部特征通常来自图片的视觉敏感区域。

     全局描述符基于整幅图像提取的描述符，如GIST。全局特征对图像的压缩率较高，但区分力不强；（相当于CNN网络的深层卷积部分）；因为一幅图片只能生成一个全局特征

局部特征的区分力强，但数目太多，故而各种编码方法被提了出来，如BOF(Bag of Features，特征袋)，Fisher向量 (Fisher Vectors, FV)，以及VLAD (Vector of Locally Aggregated Descriptors)等。BOF，VLAD，FV等描述符通常继承了局部特征的部分不变性，如对平移、旋转、缩放、光照和遮挡等与语义相关不大的因素保持不变。

 

 

 

卷积层特征与SIFT相比

有如下特点：

（1）卷积层特征类似于密集SIFT特征（通过网格式的密集采样得到）。卷积层特征与SIFT一样是局部特征，对应了图片的某个区域（可以将CNN特征图上每一个点反向映射回图片）, 是一种局部特征。

（2）卷积层特征是通过学习得到的，SIFT是手工类型。CNN的卷积层参数是可以针对不同的数据集通过迭代训练调优的，而且可通过简单的修改进一步改进（如增加深度、宽度等）而SIFT的参数是通过预先的精密设计固定的。

（3）卷积层特征具有层次性。不同的卷积层具有不同的语义层次，如浅层的特征图通常是一些边/角等，而中层则是物体的一部分,高层则通常是一个完整的物体。选用不同的层将可能达到完全不同的效果，该如何选择一个最优的层则到目前为止还没有一个最优的方法，通常通过测试多层的效果来达到。SIFT在不使用SP的情况下不具有层次性，描述的是边/角等比较低层次的特征，这也是为什么CCS将SIFT与CNN融合会有效果的原因之一。

（4）CNN卷积层特征维度比SIFT/SURF等浅层特征要大得多，而且计算量大，需要GPU辅助才能达到实时的效果，而且因为要存储很多卷积层特征图的原因，空间开销也要大得多。对于PC机而言，这不是什么大问题，然而未来的AI将可能无处不在，CNN在移动平台上的使用将成为一个具有挑战性的问题。随着类脑计算如火如荼的展开，各种神经处理专用芯片（如中科院陈云霁等研发的DaDianNao, Google最近研发的TPU等）不断涌现，此问题或者也将不是问题。