STEM：释放多任务推荐中embedding的力量

1. 导读

本文主要针对多任务学习在推荐系统中应用时的负迁移问题提出的相关方法。现有的方法通常是在所有样本中探索负迁移性，忽略了其中固有的复杂性。作者根据任务之间的相对正反馈量对样本进行拆分，从而深入研究样本的复杂性。

作者做了这样一个实验，将数据集中两个任务划分成三部分：finish正样本占主导，like占主导和两个势均力敌。x轴表示两个任务的占比大小，越往左finish的正样本越多。y轴表示多任务模型相比单模型的AUC的提升，可以发现在两侧多任务模型都有提升，但是在中间是负向的（MMoE，PLE），而STEM可以缓解这个问题。

MMoE和PLE都有共享embedding，所以作者认为可能是这个原因，因此在设计STEM-Net的时候，每个专家组都有自己对应的emb table。并且在门控上也进行了设计，防止任务之间互相干扰。

2.方法

Alt text

2.1 共享的和任务特定的emb层

令为M个field的特征，分别有共享的emb table 和任务特定的emb table ，N为所有field中的特征数，K为emb维度。则每个field的特征我们都可以得到：

将所有特征的emb拼接得到

2.2 共享的和任务特定的专家网络

如图3所示，中间的是共享的专家网络，其他的是不同任务的专家网络，这里和PLE是一样的。不同的是，这里每个专家网络组都有各自对应的emb table，防止其他参数的干扰。基于此，可以形式化为下式，其中K表示专家组中专家网络的个数。

2.3 定制门控机制

门控机制主要是用来集成不同的专家网络的表征，在STEM-Net中，门控机制确保某个特定任务的专家网络和emb不会因其他任务的梯度更新而更新，防止其他任务影响当前任务。这个门控操作是用来停止梯度反向传播的，如下式所示对于任务t，门控网络的输出由三部分

• 第一项，是任务t对应的门控网络权重对任务t专家组内各个专家产出的emb进行加权，这部分是有梯度的
• 第二项，是共享的门控权重和共享的专家组emb加权，也有梯度
• 第三项，这部分只使用其他任务的信息，但不让当前任务去影响其他任务，因此梯度不会回传（SG表示stop gradient）

其中d是变换后的维度。

2.3 预测塔和损失函数

预测tower部分是类似的，每个任务对应一个预测tower进行该任务的预估，若是分类任务则采用常规的交叉熵损失函数

2.4 门控网络对比

门控机制的对比如图4所示。与MMoE相比，STEM-Net门控机制针对特定任务和共享专家进行了优化，而MMoE的门控网络则无差别地更新所有专家。与PLE相比，STEM-Net允许塔直接传递来自其他任务专家的知识，而PLE的门网络需要共享专家作为知识传递的中介，这可能会导致信息丢失。

3. 结果

平均AUC是最高的

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。