论文笔记：Attribute Mix

Attribute Mix: Semantic Data Augmentation for Fine-grained Recognition

0 摘要

1. Attribute Mix，属性级别的数据增广策略，用于扩展细粒度样本。原理在于，属性特征在细粒度子类别之间共享，可在图像之间转移
2. 自动属性挖掘方法，发现属于同一超类的属性，将两个图像语义上有意义的属性特征进行属性混合
3. 由于属性可以在同一超类的图像共享，使用来自通用域的图像进一步用属性级标签丰富训练样本

1 引言

传统定位-表示方法：定位区分区域、裁剪、放大；注意力机制；特征更强表示。

数据增广

本文认为，细粒度识别的关键挑战在于受到训练样本的限制，很难扩展到大规模，因此很容易过拟合。所以，本文就通过低成本的方法丰富训练样本，一种简单有效的数据增广方法避免过拟合提高模型性能。

属性混合 Attribute Mix

动机：属性级特征是区分不同子类别的关键，因为所有子类共享相同的属性（比如鸟类都有头、翅膀、尾巴等），可以转移。因此，提出了一种自动属性学习方法来发现属性特征。multi-hot（与one-hot对应）属性级深度分类网络通过迭代掩盖最有区别的部分，使网络专注于对象的不同部分。新生成的图像，加上按比例混合的属性标签（两个属性融合在一起的程度），可以在保持判别性语义含义的同时丰富训练样本。

属性混合在属性级别上融合了两图像，产生了更具语义意义的图像，有助于提高模型的泛化性能

Attribute Mix+

受益于发现的属性，能够仅使用通用标签在属性级别引入更多训练样本。将通用标签表示为一位二进制位监督，表明对象是否来自一般类别（例如，对象是否为鸟）。文章声称，可以在不知道对象的细粒度子类别标签的情况下，将属性特征从通用域无缝转移到细粒度域。通过在属性级别挖掘样本的标准半监督学习策略实现。

贡献

• Attribute Mix，一种数据增强策略
• Attribute Mix +，在属性级别上挖掘细粒度的样本，并且不需要知道所挖掘样本的具体子类别标签
• 三个数据集（CUB-200-2011，FGVC-飞机，斯坦福汽车）上评估，最好性能。

2 相关工作

细粒度分类

1. 定位方法：利用额外信息定位目标的区分区域 $\to$ 弱监督定位方法
2. 特征方法：双线性结构（高阶特征交互使特征更有区别）、注意力机制、度量学习、空间加权
3. 额外数据：Earth Mover’s Diatance、Web data、迁移学习

数据增广

1. 朴素变换：水平翻转、颜色、随机裁剪
2. 自动数据增广
3. Mixup：像素级混合、标签是独热标签的线性组合，对人类来说没有意义；Cutmix、

3 方法

该方法的核心要素包括三个模块：

1. 自动属性挖掘，旨在仅使用图像级标签发现属性
2. Attribute Mix 数据增广，混合两图像的属性特征生成新图像
3. Attribute Mix+，通过在属性级挖掘来自相同通用域的图像丰富训练样本

3.1 属性挖掘

如何仅使用图像级标签获得属性级特征

将 { x ， y } , y ∈ { 0 , 1 } C \{x，y\},y\in\{0,1\}^C {x，y},y∈{0,1}C表示为训练图像，并用$y_c=1$表示其对应的独热向量标签，其中$C$是细粒度子类数量，假设属性有$k$个（超类含有，每个子类都有的属性），将$C$类级别标签$y$转换为更详细的$k\times C$属性级别标签$y_A$以进行属性发现。按照含义，$y$是代表类别的独热向量，有${\sum }_{i=1}^C{y}_i=1$，$y^A$代表多热属性级别标签，有${\sum }_{i=1}^{kC}{y}_i^A=k$，为$1$的位置代表了含有特定类别的属性。

移除所有的全连接层，图像经过CNN得到特征图，再经过$1\times 1$卷积得到特征图$f\in {\mathbb{R}}^{h\times w\times kC}$，再经过GAP得到属性级特征向量。原论文中没有提这样的到的属性级别特征向量如何是10的，如何保持和为k，都没有讲。

属性挖掘的流程如下：

1. 用原始图像和multi-hot标签（$y_{ck:(c+1)k-1}^A=1$，对应类的所有$k$个属性都为$1$）训练多热属性级别分类网络。这样做，使模型能够提取出图像的属性级别标签。

2. 对于标签为$y_c^A$的图像，在第$kc$通道$f(:,:,kc)$上选择相应的特征图，根据激活生成关注图，并向上采样至原始图像尺寸，从而获得图像的最高判别性区域掩模$M_{c,1}$。

3. $M_{c,1}$用于擦除原始图像$x$以获得擦除后图像$x^{M_{c,1}}$，并且相应的multi-hot标签$y_{ck}^A$从1变为0。

4. 使用$x^{M_{c,1}}$，1作为新的训练样本，并执行上述三个步骤以获得所有剩余属性的蒙版$M_{c,i},=2,...,k$。

这一块很懵，从论文中的图1的cd来看（结合自己理解），掩模和原图像相乘后得到的某个属性特征，但是上面又说是擦除，我的理解如下：分成两部分，一块是直接逐元素相乘得到属性特征（这块没什么用，重点是掩模M），另一块是删掉了这一块，那就是剩余的属性特征用以继续提取。擦除操作以均值作阈值。

3.2 Attribute Mix

Attribute Mix操作通过混合来自两个图像的相应属性区域来构造合成样本

给定两个样本$(x_a,y_a^A)$和$(x_b,y_b^A)$，其中$x_a,x_b\in {\mathcal{R}}^{\times W\times H\times 3}$，并随机选取属性掩模 M a , k , M b , k ∈ { 0 , 1 } W × H M_{a,k},M_{b,k}\in\{0,1\}^{W\times H} Ma,k​,Mb,k​∈{0,1}W×H，则生成的训练样本$(\tilde{x},\tilde{y})$通过以下方式获得：
$$\begin{gathered} \tilde{x}=(1-{\tilde{M}}_{b,k})\odot x_a+\lambda {\tilde{M}}_{b,k}\odot x_a+(1-\lambda ){\tilde{M}}_{b,k}\odot x_b \\ \tilde{y}=\lambda y_a^A+(1-\lambda )y_b^A \end{gathered}$$
其中${\tilde{M}}_{b,k}$是从$x_b$到$x_a$的转换后的二进制掩模，其中心与$M_{a,k}$对齐，表示需要混合的区域。 $1$是全1掩模，$\odot$是逐元素乘法。$\lambda$是从$Beta(\alpha ，\alpha )$中采样（在实验中，$\alpha$设置为1，即服从均匀分布）

引入时间衰减学习策略来限制应用属性混合运算的概率，通过控制$\lambda$实现。引入变量$\gamma (t)$，随训练进行从0增加到1，并且极限$\gamma (t)\le \lambda \le 1$。随着训练过程的进行，两个图像之间的混合操作逐渐衰减，最终退化为使用原始图像

3.3 Attribute Mix+

在本部分中，仅用通用标签也就是只知道超类不知道子类在图像中转移属性。这是通过标准的半监督学习策略在大量具有低成本通用标签的图像上生成软属性级别标签来实现的。

使用经过属性混合策略训练的模型，我们可以对来自通用域的图像进行推理，并通过使用softmax层来产生属性级别的概率。 模型输出表示为$z\in R^{kC}$，reshape为$\tilde{z}\in R^{k\times C}$，其中每一行对应于不同子类别中的相同属性。 在行维度上进行softmax以获得概率：
$$p_{i,j}=\frac{\exp ({\tilde{z}}_{i,j/T})}{{\sum }_{c=1}^C\exp ({\tilde{z}}_{i,c/T})}$$
使用通用标签收集的数据会包含噪音，并且其中一些标签的标签过于平滑，无法提供任何有价值的信息。所以，提出了一种熵排序策略来自适应地选择图像。给定来自通用域的具有软属性标签$p$的图像$x_g$，其熵：
$$H(x_g)=-\sum _{i=1}^k\sum _{c=1}^C{p}_{i,c}{\log }_2{p}_{i,c}$$
$p_{i,c}$表示图像$x_g$包含细粒度子类别$c$的属性$i$的概率。如果属性分布是平滑的，则$H(x_g)$会很大；当所有属性获得相同的概率时达到最大值（没有任何价值）。当高于阈值$\tau$时过滤掉。

4 实验

4.1 数据集、实现细节

对于multi-hot属性级别分类，使用标准的二进制交叉熵损失。引入“属性混合”样本后，需要更多轮才能收敛。当从通用域中挖掘属性时，使用经过属性混合预训练的模型来推断通用域中的数据以生成软属性级别标签。 在推理过程中，多热点属性级别分类网络输出k * C个属性的预测分数，将每个子类别的k个属性的预测分数进行组合。

4.2 消融实验CUB

k

k太小，模型无法挖掘对象的适当属性，k太大，该模型存在包括背景噪声，优化困难。

$\alpha$

控制来自两个训练样本的属性之间插值的强度

adaptive Attribute Mix

时间衰减策略减轻增强样本的过拟合。应用属性混合的概率作为余弦曲线从1衰减到0。

图像级别样本挖掘

4.3 SOTA比较

5 结论

1. 提出通用数据增广框架——Attribute Mix，在属性级混合两个图像进行数据增强，提高性能
2. 基于属性级特征可以很容易地从通用域转移到细粒度域的原理，而不管特定标签如何
3. 是低成本的通用数据增强框架，可以与大多数最新的细粒度识别方法结合使用