细粒度图像分类 fine-grained classification

细粒度图像分类又被称作子类别图像分类，是近年来计算机视觉、模式识别等领域的研究热点，其目的是对粗粒度的大类别进行更加细致的子类划分。但由于子类别间的细微差别以及较大的类内差异，较之普通的图像分类任务，细粒度图像分类的难度更大。

       早期的基于人工特征的算法表达能力有限，分类效果也有很大的局限性。深度学习的兴起促进了该领域的发展，传统的人工标注信息制约了算法实用性，更多的算法不再依赖人工标注信息。从深度卷积神经网络中所提取的特征 , 比人工特征拥有更强大的描述能力 , 将深度卷积特征运用到细粒度图像分类任务中 , 能够取得更好的结果。

       细粒度图像分类位于语义级别图像分类如识别猫狗等和实例级图像分类如人脸识别这两者之间。不同于对象识别等粗粒度的图像分类任务 , 细粒度图像的类别精度更加细致 , 类间差异更加细微 , 往往只能借助于微小的局部差异才能区分出不同的类别 . 由于其分类边界位于同一类别的不同子类之上 , 如不同种类的鸟 [1] 等 , 故而又被称作子类别分类 . 而与人脸识别等对象级分类任务相比 , 细粒度图像的类内差异更加巨大 , 存在着姿态、光照、遮挡、背景干扰等诸多不确定因素 . 因此, 细粒度图像分类是一项极具挑战的研究任务。

       目前，绝大多数的分类算法都遵循这样的流程框架：首先找到前景对象 ( 鸟 )及其局部区域 ( 头、 脚、 翅膀等 ), 之后分别对这些区域提取特征，对所得到的特征进行适当的处理之后, 用来完成分类器的训练和预测。

       细粒度图像分类分为强监督和弱监督的细粒度分类，所谓强监督的细粒度图像分类算法， 是指在模型训练的时候 , 除了图像的类别标签外, 还使用了标注框、局部区域位置等额外的人工标注信息，如前所述 , 由于标注信息的获取代价十分昂贵，在很大程度上限制了这类算法的实用性。仅仅依赖于类别标签完成分类是近年来细粒度图像研究的一大趋势 . 得益于深度学习的发展 , 以及相关研究工作的深入 , 不借助人工标注信息 , 也能实现良好的分类性能，这就是弱监督分类。

       强监督信息细粒度分类有几种经典模型：Part-based R-CNN，姿态归一化（Pose Normalized CNN），Mask-CNN。

       弱监督信息细粒度分类的几种经典模型有：两级注意力算法（Two level attention）,基于局部区域的图像表示，星座（Constellations）算法，双线性CNN（Bilinear CNN）。

       文中对以上一些算法都做了一些简要的介绍。其中在强监督学习中，目前取得最好效果的是Mask-CNN 算法。基于筛选的Mask-CNN在仅依靠训练时提供的part annotation（不需要bounding box，同时测试时不需额外监督信息）取得了目前细粒度图像分类最高的分类精度（在经典CUB数据上，基于ResNet的模型对200类不同鸟类分类精度可达87.3%）。在弱监督细粒度分类中，双线性CNN模型取得了最好的效果，在 CUB200-2011 数据集上实现了 84.1% 的分类精度。Mask-CNN和双线性CNN的流程或网络结构如下

Mask-CNN

 

双线性CNN

图像检索：

       图像分析中除监督环境下的分类任务，还有另一大类经典任务——无监督环境下的图像检索。相比细粒度图像分类，检索任务上的研究开展较晚。图像检索（image retrieval）按检索信息的形式，分为“以文搜图”（text-based）和“以图搜图”（image-based）。这里只说一下以图搜图。传统图像检索任务一般是检索类似复制的图像（near-duplicated images），而细粒度图像检索相比更难。细粒度图像检索的难点，一是图像粒度非常细微；二是对细粒度图像而言，哪怕是属于同一子类的图像本身也具有形态、姿势、颜色、背景等巨大差异。如图（a），则需要将同为“绿头鸭”的图像从众多不同类鸟类图像中返回；同样，需要将“劳斯莱斯幻影”从包括劳斯莱斯其他车型的不同品牌不同车型的众多图像中检索出来。目前图像检索的算法主要有Fine-Grained Image Search，SCDA。SCDA 相比最开始的图像检索方法效果要好得多。

由于各种算法比较多，就没有一一介绍了.以后有时间再逐一整理。

更详细的综述文章见《基于深度特征学习的细粒度图像分类研究综述》

参考综述：

罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述[J]. 自动化学报, 2017, 43(8):1306-1318.

魏秀参   知乎：【见微知著】--细粒度图像分析进展综述，2017