GRU4Rec学习笔记（SESSION-BASED RECOMMENDATIONS WITHRECURRENT NEURAL NETWORKS）

最新推荐文章于 2024-05-31 09:44:30 发布
最新推荐文章于 2024-05-31 09:44:30 发布
阅读量878 收藏
点赞数 2
文章标签： 深度学习 人工智能 python embedding 推荐算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhu_xian_gang/article/details/134722767
版权

目录

一、摘要

二、引言

三、推荐的RNN/GRU

四、自定义GRU模型

五、本文亮点

1、session-parallel mini-batch

2、negative samping

3、ranking loss

六、实验

1、数据集

2、评估指标

3、对比基线

4、参数与结构优化

5、结果

六、总结

一、摘要

        主要是对RNN的一个改进，针对RNN在用到推荐系统时，会面临会话时间短的问题，而不是长期会话，导致精度不准，为了解决这个问题， 作者通过对整个会话进行建模。

二、引言

        第一段：主要讨论了在机器学习和推荐领域忽视的问题（会话推荐），提出现有会话的缺点如cookie和游览器指纹，这些技术是不可靠的，电商部署的多为简单的方法，不使用用户资料，通过物品与物品的相似性、共现关系或转换概率，但是 它们通常只考虑了最后一次的点击或选择，而忽略了过去点击的信息。
        在推荐系统或信息检索领域，" 共现关系"指的是 两个或多个物品（或项目）在用户行为中 同时出现的频率或概率。如果用户在一次行为中选择了物品A，而在另一次行为中选择了物品B，那么我们就说物品A和物品B在用户行为中有共现关系。这种关系可以用于 推断物品之间的相似性或关联性。
        在推荐系统或信息检索领域， "转换概率"（切换选择下一个物品的概率）通常指的是用户在一个时间点选择某个物品后，在下一个时间点选择另一个物品的概率。这个概率反映了用户在 不同物品之间切换的趋势或倾向。
        第二段：主要介绍了两种方法， 因子模型（Factor Models）和 邻域方法（Neighborhood Methods），前者通过将稀疏矩阵分解再重建，由于在会话推荐缺少个人信息， 较难应用，后者通过计算物品或用户间的相似性，这种在会话推荐得到了 广泛应用。
        第三段：说了近些年深度神经网络在图像和语音识别方面的成功，各种各样的RNN成为顺序建模的首选，序列模型包括了文本翻译、对话建模和图像描述等。也就是 RNN在其它方面应用的成功
        第四段：讨论在推荐系统应用RNN的问题和方法，作者提出了会话推荐（session-based recommendation）说明了 处理稀疏序列的问题，以及 引入排名损失函数来调整RNN模型， RNN的初始输入为用户第一次点击第一个物品，每个连续的点击都会依赖之前所有点击输出，另外点击序列的 数据非常庞大，对于培训时间和可伸缩性非常重要。

三、推荐的RNN/GRU

RNN:ht 是在时间步 的隐藏状态,g是光滑有界的激活函数（sigmoid），W为隐藏层的权重矩阵，xt是时间t时单位的输入， U是上一个时间步到当前时间步的权重。

更新门

重置门

候选隐藏层

隐藏层

输出

四、自定义GRU模型

        模型的输入是当前会话的状态，输出是会话中下一个事件的物品，为了稳定性对输入向量进行了归一化，在输入和第一层GRU之间新增嵌入层，在最后一层和输出之间新增前馈层（Feedforward layers 也称全连接层或密集层）。因为 推荐系统不是递归神经网络的主要应用领域，因此修改了基本网络，为了更好的适应任务。
        1-of-N coding 就是 one-hot编码

五、本文亮点

1、session-parallel mini-batch

会话并行在mini-batch中，处理长度的 两种策略 （1）按照长度排序，这样padding（填充）会相对较少（2）对长的进行截断或者剪裁，显然 两种策略都不合适，因为在推荐系统中，长的和短的序列差异极大，因此作者提出session并行概念，如图，分成3个并行，当一个序列并行结束后，将新的序列补进来，甚至不需要padding。

2、negative samping

        作者先说了为什么要进行负采样，首先因为推荐系统的 数据量太大，中等规模的网店，物品数量就能在数万的范围，而更大的，甚至在数十万甚至上百万，因此要对输出进行采样，仅计算一小部分。
        作者将 受流行的物品，想必用户大概率是知道的， 但是用户并没有选择， 说明用户不喜欢它的概率占比会比较大， 进而作为负采样，也是一种快速负采样的方法，基于pop的采样，可解释性也更强，计算也会更快。

3、ranking loss

作者简单说了排名loss的3种方式：pointwise、pairwise和listwise,并分析优缺点：

        pointwise是独立估计（直观），但使得相关物品排名低，不稳定。

        pairwise是比较正负样本得分，要求正的低于负的排名，在实验中表现较好。

        listwise是使用在所有物品，但是计算代价太高，因此不常用。

BPR损失

TOP1损失

        作者设计的，相比bpr 在loss 后面 加了一项负样本正则项，希望负样本评分越小越好。

六、实验

1、数据集

        RecSys Challenge 2015（RSC15） 包含 电子商务网站的点击流数据，这些点击流以购买事件结束。
        VIDEO：来自类似 YouTube 的OTT 视频服务平台，收集观看视频达到一定时间的事件。
        OTT 是 "Over-The-Top" 的缩写，指的是通过互联网传输音频、视频和其他媒体内容，而无需通过传统的有线或卫星电视运营商进行分发的服务。

2、评估指标

        Recall@20和MRR@20
        Mean Reciprocal Rank ：MRR 的值范围在  0 到 1 之间，越接近 1 表示系统的性能越好，MRR 关注的是 第一个正确结果的位置， 而不考虑后续的排名。
        计算公式：

3、对比基线

POP：

POP 策略不考虑用户的个性化兴趣，而是根据整个训练集中物品的 全局流行度，始终推荐那些被大多数用户选择的物品。在一定程度上，可以解决新用户冷启动的问题。
S-POP：
是一种基于会话的POP，它能够 捕捉到当前会话中正在流行的物品，更好地满足用户的短期兴趣。
Item-KNN
BPR-MF

4、参数与结构优化

        进行调参，优化器作者使用rmsprop和adagrad两种优化算法，发现 adagrad算法表现更好，也使用了LSTM、RNN都没GRU的效果好，证明理论损失函数TOP1的效果最好，使用one-hot编码更好，使用单层GRU单元效果最好，提高GRU的宽度有好处。

5、结果

        交叉熵损失在VIDEO1000是不稳定的，因此作者未给出结果，在增加单元，会发现 交叉熵的损失的在下降，然而 成对的在提升 。

六、总结

        作者将GRU应用到新的领域：推荐系统，并且对基础GRU进行了一定的改进， 会话并行的小批量、基于小批量的输出采样和排名损失函数 ，并且效果优于常用的基线。
jingjing~
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Datawhale组队学习课节2: 传统序列召回实践：GRU4Rec打卡
宇宙哇
11-19 288
论文解决了什么问题？序列推荐场景下用户长期行为不可知的问题这是否是一个新的问题？不是这篇文章要验证什么科学假设？用户的一个会话中访问的条目是具有相关性的，且随时间而变化有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？前人的研究主要集中在矩阵分解方法和相似度算法，归类为序列推荐问题，Philip S. Yu ,Hongzhi Yin论文中提到的解决方案之关键是什么？使用GRU建模时序信息，并且设计了batch-size方法，来解决序列长度分布不均衡的问题。
artificial-neural-networks:Artificial Neural Networks 人工神经网络
06-30
Deeplearning4j 是一个广泛使用的库，支持深度学习模型如卷积神经网络(CNN)、循环神经网络(RNN)以及变种如LSTM和GRU。Neuroph是一个轻量级的框架，适合初学者，而Encog提供更多的灵活性和自定义选项。 神经网络的...
GRU4REC-pytorch:使用PyTorch的GRU4REC的另一种实现
05-06
GRU4REC-PyTorch GRU4REC模型的PyTorch实现。 原始论文： 对原始论文的扩展： 这个代码是基于由Younghun宋（YHS-968），并实现 此版本支持TOP1，BPR，TOP1-max，BPR-max和交叉熵损失。 要求 PyTorch 0.4.1 的Python 3.5 大熊猫 numpy的1.14.5 用法 数据集 RecSys Challenge 2015数据集可从获取 预处理数据 您需要运行preprocessing.py以获得培训数据和测试数据。 在本文中，仅使用训练集，而忽略测试集。 培训集本身分为培训和测试，其中测试分组是最后一天的课程。 数据格式类似于从RecSys Challenge 2015获得的格式： 档名 训练集应命名为recSys15TrainOnly.txt 测试集应命名为recSys15Valid.txt 内
小程序学习 —— unionid 和 openid 及它们的区别
m0_37856464的博客
09-17 2662
unionid 和 openid 分别代表什么？有什么区别？ openid：共28位。一个用户在一个应用中会有一个唯一的appid。 unionid：共29位。只要是同一个微信开放平台帐号下的移动应用、网站应用和公众帐号（包括小程序），用户的unionid是唯一的。换句话说，同一用户，对同一个微信开放平台下的不同应用，unionid是相同的。 总结：openid 同一用户对应同一应用唯一，unionid 同一用户对应同一个微信开发平台账号下的所有应用唯一。获取openid无需用户同意，获取用户基本信息
推荐开源项目：GRU4REC-PyTorch —— 会话基推荐的高效工具
gitblog_00042的博客
05-28 258
推荐开源项目：GRU4REC-PyTorch —— 会话基推荐的高效工具 项目地址:https://gitcode.com/hungthanhpham94/GRU4REC-pytorch 1、项目介绍 GRU4REC-PyTorch是一个基于PyTorch实现的会话基推荐模型，它源自于ICLR 2016发表的论文《Session-based Recommendations with Recurre...
探索未来推荐科技：GRU4Rec的TensorFlow之旅
最新发布
gitblog_00080的博客
05-31 365
探索未来推荐科技：GRU4Rec的TensorFlow之旅 项目地址:https://gitcode.com/Songweiping/GRU4Rec_TensorFlow 在数字化时代的大潮中，个性化推荐已成为连接用户与信息的桥梁。今天，我们为您推介一个强大且高效的开源项目——GRU4Rec_TensorFlow。该项目是对ICLR 2016年论文《基于会话的循环神经网络推荐》的实践转化，其原始理...
Session-based推荐算法实践与应用
zhangpanfeng1的博客
09-10 619
基于会话的推荐算法(Session-based Recommendation)是指在用户未登录状态下, 仅仅依赖匿名会话进行用户下一个行为预测的一种算法, 在许多领域(如电商、短视频、直播等)有着重要的作用.Session-based Recommendation易与序列推荐(Sequencial Recommendation)混淆, 这里区分一下,序列推荐中常将用户长期历史序列建模表征用户, 可能还包括用户画像等信息, 典型算法如MIND、SDM等;
GRU4Rec
weixin_43951296的博客
11-21 301
GRU4rec
推荐系统行为序列建模-GRU4Rec
qq_41196438的博客
06-23 2841
推荐系统行为序列建模-GRU4Rec1.模型结构2.优化2.1 SESSION-PARALLEL MINI-BATCHES2.2 SAMPLING ON THE OUTPUT3.Loss 《SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS》论文基于单次会话session进行推荐。 1.模型结构 整体结构比较简单，通过RNN的堆叠来抽取序列信息 input：单次会话的点击序列 [x1,x2,...xn][x_1, x_2,...x_n
推荐系统新星：GRU4Rec
gitblog_00056的博客
05-17 515
推荐系统新星：GRU4Rec 项目地址:https://gitcode.com/hidasib/GRU4Rec 在当今的个性化推荐领域，基于会话的推荐算法正在崭露头角。其中，GRU4Rec是一个强大的深度学习模型，以其高效的执行速度和出色的性能受到了广泛关注。本文将详细介绍GRU4Rec项目，包括其技术剖析、应用场景以及显著的特点。 项目介绍 GRU4Rec（Gated Recurrent Uni...
【序列召回推荐】(task2)序列召回GRU4Rec模型
发现问题，并解决问题，批判性思维
11-18 1912
一般的RNN模型我们的输入和输出是什么，我们对RNN输入一个序列 $X = [x^1,x^2,...,x^n]$ ，注意我们序列中的每一个节点都是一个向量，那么我们的RNN会给我们的输出也是一个序列 $Y = [y^1,y^2,...,y^n]$, 那我们如何通过RNN提取出输入序列的特征呢，常用做法有两种（GRU4Rec用的第一种获得序列表征）： - 取出$y^n$的向量表征作为序列的特征，这里可以认为$x^1, x^2, \ldots, x^n$的所有信息，所有可以简单的认为$y^n$的结果代表序
2019-Session-based Recommendation with Graph Neural Networks.pdf
01-14
2019-Session-based Recommendation with Graph Neural Networks
ANN.zip_Neural networks_Neural-Networks_zip
09-23
LSTM（长短时记忆网络）和GRU（门控循环单元）是RNN的变种，解决了标准RNN的长期依赖问题。 **深度学习框架** 实现神经网络的常用深度学习框架有TensorFlow、PyTorch、Keras和MXNet等。这些框架提供了高级API，...
GRU-neural-networks.zip
09-03
6. **代码实现**：提供的压缩包"GRU-neural-networks.zip"包含可以直接运行的代码，这意味着你可以直接使用这些代码来建立和训练自己的GRU模型。通常，这些代码会使用深度学习框架如TensorFlow或PyTorch，并包含数据...
Udemy - Deep Learning Recurrent Neural Networks in Python
10-29
Like the course I just released on Hidden Markov Models, Recurrent Neural Networks are all about learning sequences – but whereas Markov Models are limited by the Markov assumption, Recurrent Neural ...
cheatsheet-recurrent-neural-networks.pdf
09-13
4. **多对多**（Tx = Ty）：命名实体识别，输出和输入序列长度相同。 5. **多对多**（Tx ̸= Ty）：机器翻译，输入和输出序列长度可能不同。 **损失函数** 对于RNN，损失函数`L`是所有时间步骤损失的总和： \[ L...
传统序列召回实践：GRU4Rec——Session-Based Recommendations with Recurrent Neural Networks
weixin_46191103的博客
11-20 342
SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS
推荐模型-序列推荐-2016：GRU4Rec、GRU4RecF、GRU4RecKG
u013250861的博客
11-27 383
推荐模型-序列推荐-2016：GRU4Rec。
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jingjing~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值