关于推荐模型的论文汇总

最新推荐文章于 2024-06-03 09:16:41 发布

@zhg12138

最新推荐文章于 2024-06-03 09:16:41 发布

阅读量1.1k

点赞数 1

文章标签：机器学习人工智能自然语言处理深度学习 transformer

本文链接：https://blog.csdn.net/zhaogang12138/article/details/121984369

版权

前言

目前研究的课题是业务流程预测和挖掘，但是由于当前领域的发展并没有像自然语言处理以及计算机视觉等领域发展迅速，因此就考虑是否能从前人的道路之上借鉴和发现一些能够用于时间序列和活动序列预测的任务上，加上导师最近推了几篇关于推荐模型的论文，追求能在推荐模型的基础上将有用的训练架构在流程预测上有所突破。

一、S3-Rec

Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization2020
传统的序列推荐模型方法是捕获用户的历史行为，使用RNNs、CNNs、self-attention这三种主流方法学习用户的偏爱和用户与商品交互的特点，后来就是在此基础上增加学习的知识来增强序列的表示。

1. 解决的问题
1）先前的方法过分依赖商品的预测损失来学习整个model，这种学习方法容易受数据集稀疏影响
2）过分强调最终的结果，但是呢又没有充分的捕捉到上下文数据和序列数据的联系和复杂程度

2. 模型架构
通过设置四个预训练任务，并设置不同的损失和优化函数，利用数据内部的相关性，进行无监督学习，注：由于推荐任务中的特征包含用户、商品、子序列和序列等，因此借助MIM思想，需要多个view共同表示序列，预训练之后学习到了数据的表示，模型的参数作为下游任务的初始化参数，然后再进行预测任务的训练，最终得到较好表现的模型。

3. 存在的问题
能否设计很好的预训练任务？
能否应用于更复杂的应用场景？

二、ProcessTransformer

Predictive Business Process Monitoring with Transformer Network2021

1. 解决的问题
1）先前的方法都是使用one-hot来编码离散的活动序列，整数表示忽略了事件之间的内在关系，并且由于数据维度的增加而引入了不切实际的计算需求。
2）LSTM不能复杂的建模较长的数据依赖关系
3）神经网络中的LSTM以及RNNs是顺序执行，不能并行化

2. 模型架构
从sttention机制的应用之后，Transformer应用到建模process序列，通过对数据简单的预处理，从而学习时序序列高级泛化的表示。与固定大小的循环记忆模型不同，自我注意机制允许访问序列中先前生成的事件的任何部分。它允许深层神经网络捕获输入和输出之间的全局依赖关系，以实现强大的通用表示学习。此外，ProcessTransformer可以有效区分影响模型预测的最相关特征
Process Transformer
3. 存在的问题和前景
1）将学习到的特征表示应用到其他任务如跟踪检索、活动建议、过程结果预测等
2）评估ProcessTransformer事件日志不仅具有延长性而且在很大程度上具有唯一的流程活动空间

三、UPRec

User-Aware Pre-training for Recommender Systems2021

1. 解决的问题
1）神经网络、Transformer等主流框架这种监督学习模型过分依赖充分的用户训练数据，容易受数据稀疏影响
2）预训练应用在NLP中通常是为了学习通用的语言知识以及全局序列样式，忽视了捕捉每个用户的个性化兴趣

2. 模型架构
为了提高预训练模型，解决异构信息集成，设置预训练任务，利用相同的编码器将社交图和用户属性的符号空间与行为序列的语义空间对齐。提出了两个简单有效的预训练任务，一个是用户属性预测，行为序列可以反映不同用户的属性，需要模型预测给定用户表示的用户属性，有助于为模型注入属性信息；第二个是社会关系检测，引入社会关系图，使得社会关系用户之间表示相似，给定不同的用户，检测它们之间的社会关系。
UPRec in the pre-training stag
3. 存在的问题和前景
在未来，我们将探索如何设计强大的培训前任务，以进一步利用更多的用户信息，包括他们发布的评论和其他行为。还值得探讨我们的模型在其他复杂推荐任务中的表现，例如下一个篮子推荐和点击率预测。

四、EFFICIENT MODEL OF SPARSE ATTENTION

LONG-TERM SERIES FORECASTING WITH QUERY SELECTOR – EFFICIENT MODEL OF SPARSE ATTENTION（时间序列预测，非推荐模型）

1. 解决的问题
1）寻找合适的通用算法方法来使用DL方法建模TSF有关的工作
2）处理特定DL模型的计算效率的工作（计算上的挑战）
3）informer为代表的Transformer架构，使用概率方法的一个主要缺点是很难在参数变化的情况下比较不同的实验
2. 模型架构
在这里插入图片描述

3. 存在的问题和前景

五、GAN-Transformer

Adversarial Sparse Transformer for Time Series Forecasting
1. 解决的问题
1）大多数点预测模型只预测每个时间步的精确值，缺乏灵活性，难以捕捉数据的随机性，受制于单个目标loss（非柔性目标）
2）大多采用自回归生成模式，即在训练过程中提供基本真理，在推理过程中由网络自身的一步超前输出代替，导致推理过程中的错误积累。因此，由于误差累积，他们可能无法预测较长时间范围内的时间序列。
2. 模型架构
本文提出了一种新的基于生成对抗网络（GANs）的时间序列预测模型——对抗稀疏变换（AST）。具体地说，AST采用稀疏变换器作为发生器来学习用于时间序列预测的稀疏注意图，并使用鉴别器在序列级改进预测性能。
在这里插入图片描述