嵌入层通常用于将离散符号映射为反映其语义的连续嵌入向量。随着符号数量的增加，嵌入参数的数量以及它们的大小呈线性增长，并变得非常大。本文旨在通过学习离散代码并从代码中组合嵌入向量来减少嵌入层的大小。提出了一个具有两个实例的可微产品量化框架，可以作为现有嵌入层的有效替代。在三个不同的语言任务上评估了所提出的方法，表明所提出的方法能实现嵌入压缩的端到端训练，在几乎没有性能成本(有时甚至更好)的情况下实现了显著的压缩比(14-238×)
本文介绍了一种新的技术，通过学习离散代码并组合嵌入向量，有效压缩嵌入层，实现在保持或提高性能的同时实现高达238倍的参数减小，适用于多种语言任务。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
