信息检索（57）：MINIMIZING FLOPS TO LEARN EFFICIENT SPARSE REPRESENTATIONS

---

发布时间（2020）

---

最小化 Flop 来学习高效的稀疏表示

摘要

1）学习高维稀疏表示
2）FLOP 集成到损失函数作为正则化项
3）相比 l1 损失更好
倒排索引浮点运算的数量 // 非零值的均匀分布

深度表示学习已成为视觉搜索、推荐和识别领域最广泛采用的方法之一。然而，从大型数据库中检索此类表示在计算上具有挑战性。基于学习紧凑表示的近似方法已被广泛用于解决此问题，例如局部敏感哈希、乘积量化和 PCA。在这项工作中，与学习紧凑表示相反，我们提出学习高维和稀疏表示，这些表示具有与密集嵌入相似的表示容量，同时由于稀疏矩阵乘法运算比密集乘法快得多而更高效。根据关键见解，如果非零项在维度上均匀分布，则运算次数会随着嵌入的稀疏性二次减少，我们提出了一种新方法来学习这种分布式稀疏嵌入，该方法通过使用精心构建的正则化函数直接最小化检索过程中发生的浮点运算 (FLOP) 数量的连续松弛。我们的实验表明，我们的方法与其他基线相比具有竞争力，并且在实际数据集上产生类似或更好的速度与准确度权衡。

1 引言

使用深度神经网络 (DNN) 学习语义表示现已成为视觉搜索 (Jing et al, 2015; Hadi Kiapour et al, 2015)、语义文本匹配 (Neculoiu et al, 2016)、单样本分类 (Koch et al, 2015)、聚类 (Oh Song et al, 2017) 和推荐 (Shankar et al, 2017) 等应用的一个基本方面。然而，从 DNN 生成的高维密集嵌入对于在具有数百万个实例的大规模问题中执行最近邻搜索提出了计算挑战。特别是，当嵌入维度很高时，评估任何查询与大型数据库中所有实例的距离成本很高，因此难以在不牺牲准确性的情况下进行有效搜索。与 SIFT (Lowe, 2004) 等手工制作的特征相比，使用 DNN 生成的表示通常具有更高的维度，而且是密集的。密集特征的关键警告是，与词袋特征不同，它们无法通过倒排索引进行有效搜索，也无法进行近似。

由于在实践中，高维度上的精确搜索成本过高（Wang，2011），因此人们通常不得不牺牲准确性来换取效率，而采用近似方法。因此，解决高效近似最近邻搜索 (NNS)（Jegou 等人，2011）或最大内积搜索 (MIPS)（Shrivastava 和 Li，2014）的问题是一个活跃的研究领域，我们将在相关工作部分简要回顾一下。大多数方法（Charikar，2002；Jegou 等人，2011）旨在学习保留距离信息的紧凑低维表示。

虽然在学习紧凑表示方面已经有大量研究，但学习稀疏的高维表示直到最近才开始得到解决（Jeong 和 Song，2018&