个性化推荐系统-离线召回模型验证

于 2024-08-27 18:23:51 发布
阅读量284 收藏 5
点赞数 10
文章标签： python 功能测试 线性代数 矩阵 推荐算法 vue
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangdonghuirjdd/article/details/141609347
版权

文章目录

背景

计划构建并优化一个覆盖前端与后端的个性化推荐系统中的离线召回模块。
此模块旨在通过高效的数据处理与分析，预先筛选出用户可能感兴趣的内容或商品，为后续的实时推荐流程提供丰富且精准的候选集。为了确保实施效果与性能，我们将设计最简前端界面以直观展示召回结果，同时构建后端服务来处理大量数据并响应前端请求。

在前端部分，将开发用户基本的交互界面，允许用户在不影响系统性能的前提下，轻松浏览和反馈召回结果，支持切换用户查询，从而辅助验证推荐算法的有效性与准确性。

后端方面，以验证模型以及算法为主，验证过程中不采用离线计算框架（
Spark、Hadoop、Hive），不设置缓存层。

具体参考
个性化推荐系统-离线召回模型框架

前端

使用vue开发

核心组件

<div class="title-with-margin">
      <h2>个性化推荐系统</h2>
    </div> 
    <!-- Top section with input and button -->
    <div class="input-and-button">
      <el-input v-model="uid" placeholder="请输入 UID(1-600)" clearable @keyup.enter="fetchUserData" />
      <el-button type="primary" @click="fetchUserData(currentPage.value)">推荐</el-button>
      <el-button type="primary" @click="gethistory(historycurrentPage.value)">历史行为</el-button>
    </div>

    <!-- Bottom section with pagination and list -->
    <el-table :data="userData" style="width: 100%; margin-top: 1rem;">
      <el-table-column prop="name" label="名称" width="220"> </el-table-column>
      <el-table-column prop="mediatype" label="类型" width="150"> </el-table-column>
      <el-table-column prop="catid" label="分类" width="100"> </el-table-column>    
       <el-table-column prop="abstract" label="简介" width="550" show-overflow-tooltip> </el-table-column>
       <!-- <el-table-column prop="content" label="内容" > </el-table-column> -->
       <el-table-column label="操作" width="150">
        <template #default="{ row }">
          <el-button size="small" type="text" @click="showreco(row)">操作</el-button>
        </template>
      </el-table-column>
    </el-table>

模拟操作

<el-dialog v-model="showDialog" title="模拟操作" width="60%">
      <div>
        <el-row :gutter="20">
        <el-col :span="6">
          <!-- icon="el-icon-thumb" -->
          <el-button :type="isLiked ? 'success' : 'primary'"  type="text" @click="onLike(currentMedia)">点赞 </el-button>
        </el-col>
        <el-col :span="6">
          <el-button :type="isPlay ? 'success' : 'primary'" type="text" @click="onView(currentMedia)">观看</el-button>
        </el-col>
        <el-col :span="6">
          <el-button :type="isColl ? 'success' : 'primary'" @click="onCollect(currentMedia)">收藏</el-button>
        </el-col>
        <el-col :span="6">
          <el-button :type="isShare ? 'success' : 'primary'" @click="onForward(currentMedia)">转发</el-button>
        </el-col>        
        </el-row>
      </div>    
       <div style="margin-top: 10px;">  
        <div >播放完整度</div>
        <div class="slider-demo-block">         
          <el-slider v-model="playrate" show-input @change="playhandleChange"/>
        </div>
       </div>       
      <h3>相关推荐</h3>
       <el-table :data="userData2" style="width: 100%; margin-top: 1rem;">
      <el-table-column prop="name" label="名称" width="200"> </el-table-column>
      <el-table-column prop="mediatype" label="类型" width="80"> </el-table-column>
      <el-table-column prop="catid" label="分类" width="120"> </el-table-column>
      <el-table-column prop="abstract" label="简介" width="300"> </el-table-column>       
      </el-table>
          <el-pagination
          background
          layout="prev, pager, next"
          :total="totalItems2"
          :page-size="pageSize"
          :current-page="currentPage2"
          @current-change="handleCurrentChange2"
          >
          </el-pagination>
      <template #footer>
        <span class="dialog-footer">
          <el-button @click="showDialog = false">关闭</el-button>
        </span>
      </template>
    </el-dialog>

用户历史行为

  <el-dialog v-model="historyshowDialog" title="用户历史操作记录" width="65%">           
     
      <el-table :data="historyuserData" style="width: 100%; margin-top: 1rem;">
      <el-table-column prop="name" label="名称" width="200"> </el-table-column>
      <el-table-column prop="mediatype" label="类型" width="80"> </el-table-column>
      <el-table-column prop="catid" label="分类" width="100"> </el-table-column>      
      <el-table-column prop="abstract" label="简介" width="300"> </el-table-column> 
      <el-table-column prop="score" label="评分" width="80"> </el-table-column>
      </el-table>
          <el-pagination
          background
          layout="prev, pager, next"
          :total="hisrorytotalItems"
          :page-size="pageSize"
          :current-page="historycurrentPage"
          @current-change="historyhandleCurrentChange"
          >
          </el-pagination>
      <template #footer>
        <span class="dialog-footer">
          <el-button @click="historyshowDialog = false">关闭</el-button>
        </span>
      </template>
    </el-dialog>


const get_history_api = async (page = historycurrentPage.value) => {
  console.log(historycurrentPage.value,page)
  try {
    const response = await axios.get('http://127.0.0.1:5000/useraction', {
      params: {
        page:  parseInt(page),
        pageSize: pageSize.value,
        uid: uid.value
      }
    });
    console.log(response.data.data)   
    historyuserData.value = response.data.data;
    hisrorytotalItems.value = response.data.total;
  } catch (error) {
    console.error('Error fetching data:', error);
  }
};

后端

导入依赖

from flask import Flask, request, jsonify
import pymysql
from flask_cors import CORS

启动服务

app = Flask(__name__)
CORS(app)
app.config['JSON_AS_ASCII'] = False

## db_config 数据库配置文件 参考之前的样例
def get_db_connection():
    return pymysql.connect(**db_config)

if __name__ == '__main__':    
    app.run(host='127.0.0.1', port=5000,debug=True)

根据uid获取推荐列表

解析参数，判断uid是否为0，分别进行不同处理

@app.route('/medialist', methods=['GET'])
def get_users():
    page = int(request.args.get('page', 1))
    per_page = int(request.args.get('pageSize', 10))
    try:
        uid = int(request.args.get('uid', '0'))
    except ValueError:
        uid = 0
    print("uid",uid)
    offset = (page - 1) * per_page
    res = "0" if page > 0 else "-1"
    total=300
    connection = get_db_connection()
    if(uid<=0):
        try:
            with connection.cursor() as cursor:
                sql = "SELECT mediaid,name,CONCAT(catid,subcatid,tag) AS catid,mediatype,abstract FROM mediainfo ORDER BY RAND() LIMIT %s OFFSET %s"
                #cursor.execute(sql, (per_page, offset))
                #results = cursor.fetchall()
                #users = [{'id': row[0], 'name': row[1]} for row in results]           
                cursor.execute(sql, (per_page, offset))
                results = cursor.fetchall()            
                resdata = { "res": res,"total": total,"data":results}
                return jsonify(resdata), 200
        finally:
            connection.close()
    else:
        total=100
        try:
            with connection.cursor() as cursor:
                sql = "SELECT  m.mediaid, m.name,CONCAT(m.catid,m.subcatid,m.tag) AS catid,m.mediatype,m.abstract FROM  uid_reco ur JOIN  mediainfo m ON ur.mediaid = m.mediaid WHERE  ur.uid = %s LIMIT %s OFFSET %s"
                #cursor.execute(sql, (per_page, offset))
                #results = cursor.fetchall()
                #users = [{'id': row[0], 'name': row[1]} for row in results]           
                cursor.execute(sql, (uid,per_page, offset))
                results = cursor.fetchall()            
                resdata = { "res": res,"total": total,"data":results}
                return jsonify(resdata), 200
        finally:
            connection.close()

相关推荐

内容相似度计算参考
相似度计算

@app.route('/relatereco', methods=['GET'])
def get_relate_reco():
    page = int(request.args.get('page', 1))
    per_page = int(request.args.get('pageSize', 10))
    try:
        mediaid = int(request.args.get('mediaid', '0'))
    except ValueError:
        mediaid = 0
    print("relatereco - mediaid",mediaid)
    offset = (page - 1) * per_page
    res = "0" if page > 0 else "-1"
    
    connection = get_db_connection()
    total=100
    try:
        with connection.cursor() as cursor:
            sql = "SELECT m.mediaid,m.name, CONCAT(m.catid, m.subcatid, m.tag) AS catid,  m.mediatype,  m.abstract FROM  media_similarity ms   JOIN mediainfo m   ON ms.mediaid_2 = m.mediaid WHERE ms.mediaid_1 = %s  LIMIT %s OFFSET %s"
            cursor.execute(sql, (mediaid,per_page, offset))
            results = cursor.fetchall()            
            resdata = { "res": res,"total": total,"data":results}
            return jsonify(resdata), 200
    finally:
        connection.close()

用户历史记录

app.route('/useraction', methods=['GET'])
def get_user_action():
    page = int(request.args.get('page', 1))
    per_page = int(request.args.get('pageSize', 10))
    try:
        uid = int(request.args.get('uid', '0'))
    except ValueError:
        uid = 0
    print("relatereco - mediaid",uid)
    offset = (page - 1) * per_page
    res = "0" if page > 0 else "-1"
    total=100
    connection = get_db_connection()   
    try:
        with connection.cursor() as cursor:
            sql = "SELECT m.mediaid,m.name,CONCAT(m.catid, m.subcatid, m.tag) AS catid,  m.mediatype,  m.abstract,u.score FROM  user_rate u  JOIN mediainfo m   ON u.mediaid= m.mediaid WHERE u.uid = %s  LIMIT %s OFFSET %s"
            cursor.execute(sql, (uid,per_page, offset))
            results = cursor.fetchall()            
            resdata = { "res": res,"total": total,"data":results}
            return jsonify(resdata), 200
    finally:
        connection.close()

用户行为数据上报

def handle_user_action():
    # 解析请求体中的 JSON 数据
    data = request.get_json()
    
    # 获取 uid, mediaid, score
    uid = data.get('uid')
    mediaid = data.get('mediaid')
    score = data.get('score')
    
    if not (uid and mediaid and score):
        return jsonify({'error': 'Missing required fields'}), 400
    connection = get_db_connection()   
    try:
        with connection.cursor() as cursor:
            sql = "insert user_rate （uid,mediaid,score）values（%s,%s,%s）"
            cursor.execute(sql, (uid,mediaid, score))
            results = cursor.fetchall()            
            resdata = { "res": results}
            return jsonify(resdata), 200
    finally:
        connection.close()
        return jsonify({'error': 'DB connection fields'}), 400
山水阳泉曲
关注
  • 10
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
解密推荐系统：离线与实时推荐技术
洛阳泰山的博客
03-28 1185
离线推荐和实时推荐是推荐系统中最基本的两种推荐技术，这两种技术都各自有着优劣之处，需要根据应用场景和需求进行选择。离线推荐适用于大批量数据的处理，而且不需要进行实时推荐；实时推荐则需要实时响应用户需求，处理速度快，用户体验好。在实际的应用中，通常会将两种技术结合起来使用，并根据实际情况进行灵活调整，以达到最佳的推荐效果。
个性化推荐算法实战第11章排序模型总结与回顾
酱油哥的博客
09-16 1930
文章目录第11章排序模型总结与回顾一、model在测试数据集效果回顾1、效果回顾2、离线评估模型交叉验证(model cv)model test data performance3、在线评估业务指标平均点击位置二、LTR中特征维度浅析1、特征维度2、特征的数目三、工业界Rank技术展望1、多目标学习2、强化学习 第11章排序模型总结与回顾 model在测试数据集效果回顾 1、逻辑回归模型、gb...
个性化推荐系统-离线召回模型框架
最新发布
zhangdonghuirjdd的博客
08-27 221
召回是推荐系统的一个核心组件，其主要任务是从庞大的候选池中快速筛选出一小部分最相关的项目。离线推荐是指在推荐系统开发阶段，在不直接影响用户的情况下对推荐算法进行设计、训练和评估的过程。离线推荐的优点在于它可以在不影响实际用户体验的情况下进行大量的实验和调整，因此是推荐系统开发初期不可或缺的一环。模型验证不仅可以帮助我们了解推荐模型的整体表现，还可以揭示模型在特定情况下的弱点，从而指导后续的改进工作。在推荐系统的设计和开发过程中，离线推荐、召回以及模型验证是三个关键步骤。
推荐系统实战4——EasyRec 搭建DSSM召回模型实现CTR点击平台
Bubbliiiing的学习小课堂
12-12 4258
一般的推荐系统至少需要两步来完成，基本流程为召回=>排序，当然大型的推荐系统远远不止于此。召回是其中的第一步，目的是最大程度的筛选出user可能感兴趣的item。
AIRec个性化推荐召回模型调参实战
阿里云开发者
07-26 714
简介：本文是《AIRec个性化推荐召回模型调参实战（电商、内容社区为例）》的视频分享精华总结，主要由阿里巴巴的产品专家栀露向大家分享AIRec个性化推荐召回模型以及针对这些召回模型在电商和内容行业下进行的实战调参演示。一、典型推荐场景（一）场景概念的引入场景，它是智能推荐里面设定的一个概念。场景不论是在上传数据的表上，还是在控制台上都会有相关的概念，场景可以理解为，是一个用户流量的入口，一个流量入口代表一定的访问心智。比如，一个用户他进入到了一个大促的页面，他的心智就是去看一看当前有没有感兴趣的商品、有购买
多兴趣推荐召回模型：ComiRec
sgyuanshi的博客
04-23 1014
1. 论文指出了推荐召回模型中单个用户兴趣向量的弊端，提出一种可以提取多个用户兴趣向量的模型ComiRec，包括两种多兴趣提取模块：**Dynamic Routing**和**Self-Attentive Method**，对应的模型分别为ComiRec-DR和ComiRec-SA； 2. 提出一种新的对用户多个兴趣向量召回结果的聚合方法（Aggregation Module），指出推荐系统可控性的重要性（论文中主要体现了推荐的多样性控制）；
推荐系统总结之深度召回模型（上）
abcdefg90876的博客
10-29 2296
作者：一块小蛋糕地址：https://zhuanlan.zhihu.com/p/267263561整理：深度传送门最近读完了李航、何向南的《Deep learning for match...
推荐系统召回总结(持续更新)
whgyxy的博客
03-05 1300
推荐系统架构 候选池：可供推荐的物料候选池，对于图文、短视频、新闻等来说通常是最近N天的新物料组成的集合，定期进行物料更新。 召回：从候选池中选出和用户相关的物料，交给后面的排序模块进行打分。召回面对的候选集通常是数十万或者百万甚至千万的量级，检索过程必须轻量快速。通常由多路召回组成，保证不遗漏且相关性、多样性尽量好，可以分为非个性化召回和个性化召回。 粗排：对召回选择的几千或者几百候选物料进行排序，快速打分选出topN，减少精排的压力，兼顾精准与效率。 精排：对粗排的结果进行精准排序，这个环节需要特征尽可
人工智能|推荐系统——推荐大模型最新进展
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
04-27 1166
Embedding 已成为表示关于实体、概念和关联的复杂的信息的关键手段，并以简洁且有用的格式呈现。然而，它们通常难以直接进行解释。尽管下游任务利用这些压缩表示，但要进行有意义的解释通常需要使用降维或专门的机器学习可解释性方法进行可视化。本文解决了使这些嵌入更具解释性和广泛实用性的挑战，通过利用大语言模型（LLMs）直接与嵌入进行交互，将抽象向量转化为可理解的叙述。通过将嵌入注入LLMs，我们使复杂的嵌入数据可以进行查询和探索。
机器学习-推荐系统--排序篇1
05-05
推荐系统是现代信息技术中的一种重要应用，其目的是根据用户的兴趣、历史行为以及上下文环境，为用户推荐他们可能感兴趣或...通过不断迭代和优化模型，可以提升推荐系统的性能，从而提供更精准、更个性化的推荐服务。
如何在Python中使用IP代理
IPIPGO的博客
08-23 472
通过以上步骤，你应该已经学会了如何在Python中使用IP代理。无论是单个代理IP、带认证的代理IP，还是批量使用代理IP，这些方法都能帮助你在实际项目中灵活应用。希望这篇文章对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言，我们会尽力为你解答。t=N7T8。
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 1741
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
python12 中，No module named‘distutils‘错误
qq_43557600的博客
08-27 96
python12 “ No module named'distutils' ”,​ 安装 pip install setuptools ，解决 ​
centos7 安装 superset4.0.2 教程
m0_37759590的博客
08-27 504
centos7 安装 superset4.0.2 教程
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 890
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
Python优化算法09——黏菌优化算法(SMA)
weixin_46277779的博客
08-24 850
python黏菌优化算法代码和使用
【Python】Pydantic：快速上手
2303_80346267的博客
08-22 1124
Pydantic 是一个用于数据验证和设置管理的 Python 库，基于 Python 类型提示构建。它通过创建数据模型类并使用类型提示进行数据验证，使得数据的验证和解析变得简单而可靠，广泛应用于数据模型的定义和验证，特别是在构建 API 时。
一分钟拥有自己的翻译软件：一步步用Python和PyQt5编程实现
qq_36224726的博客
08-22 329
通过这个项目，你将学到如何使用Python和PyQt5创建一个功能完整的桌面应用。这不仅仅是关于编程，更是关于如何将解决实际问题的工具自己动手做出来。这个翻译器虽然简单，但它激发了无限的可能——希望它能启发你开发出更多有趣和有用的应用！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值