细粒度论文笔记《Object-Part Attention Model for Fine-grained Image Classification》

    这篇文章的作者是之前的two level attention model 的作者，作者对之前的两级注意力模型上做出了许多改进，取得了非常好的效果。超过目前的其他方法。

    之前的细粒度分类的方法都有以下两个限制，1，过分依赖object或part annotation，2，忽视了object 和part之间的空间关系以及parts之间的关系。作者将提出的模型称为OPAM模型。

    作者仍然使用了两级注意力，在object-level，使用selective search 从原始图片中产生大量的patches,然后经过在ImageNet 1k上预训练过的网络（称为FilterNet）来筛选噪声patches，留下和object相关的patches，之后，将这些patches用来从头训练一个CNN网络，称为ClassNet,是一个可用于细粒度分类的分类器。使用CAM方法，对CNN的神经元采用显著性图的方法，来获取图片中的Object的定位。对这些定位了的图片，训练一个网络称为objectNet，作为object-level的预测结果。

    在part-level，包含两个组成部分：object-part constraint model（即object-part 空间约束模型）和part alignment（即part对齐）。object-part constraint model也是分为两个部分，一个是object spatial contraint，用来使选择的part位于object region，另一个是part spatial contraint，使选择的parts之间的重复性降低，减少冗余，增加parts之间的区分性。Part 对齐的目的使让同样语义的parts在一起。在ClassNet的中间层存在聚类的模式，因此，作者对ClassNet的卷积层倒数第二层的神经元使用谱聚类的方法，将parts都经过这些part clusters得到激活指，计算各个cluster的得分，然后把part归到得分高的那一类。将这些parts分好类之后，使用他们训练一个CNN，称为PartNet，也是一个细粒度分类器。

    最终的结果使将图片在这三个分类器（ClassNet，ObjectNet，PartNet）的得分各取一个权重相加得到最终得分，归为得分高的那一类作为最终预测结果。

    总结一下作者的思路，相比之前的两级注意力模型，作者使用了显著图来定位object，并提出了两个约束，增强object和part之间的联系，去除冗余，使part更具有区分性。

 

参考文献：

Peng Y, He X, Zhao J. Object-Part Attention Model for Fine-grained Image Classification. IEEE Transactions on Image Processing (TIP), Vol. 27, No. 3, pp. 1487-1500, Mar. 2018