嵌入层通常用于将离散符号映射为反映其语义的连续嵌入向量。随着符号数量的增加,嵌入参数的数量以及它们的大小呈线性增长,并变得非常大。本文旨在通过学习离散代码并从代码中组合嵌入向量来减少嵌入层的大小。提出了一个具有两个实例的可微产品量化框架,可以作为现有嵌入层的有效替代。在三个不同的语言任务上评估了所提出的方法,表明所提出的方法能实现嵌入压缩的端到端训练,在几乎没有性能成本(有时甚至更好)的情况下实现了显著的压缩比(14-238×)
Differentiable Product Quantization for End-to-End Embedding Compression
![](https://img-home.csdnimg.cn/images/20240711042549.png)