zhong_ddbb的博客

文章目录模型结构User Behaviors 部分其他部分深度会话兴趣网络Deep Session Interest Network for Click-Through Rate Prediction，跟DIN，DIEN 相比，最大的不同在于对用户的历史点击行为划分为不同session，对每个session使用Transformer学习session embedding，最后使用BiLSTM对session序列建模。在推荐系统中，用户兴趣是十分广泛的，但在一个较短的时间内，用户的兴趣是集中的，我们称这段

文章目录Attention的基本形式GAT基本原理GAT的原理tensorflow2.0 实现GATAttention的基本形式图注意力模型（Graph Attention Network GAN）将attention引入图神经网络。在GAN中有两种思路：（1）Global graph attention即在更新图中某一个节点的Embedding时，图上的每一个顶点 iii 都参与到attention运算。优点：完全不依赖于图的结构，对于inductive任务无压力缺点：忽略了图结构的这个特征

文章目录GraphSAGE 前向传播算法采样算法&聚合(aggragator)操作参数学习基于tensorflow2.0实现Graph SAGEGCN是一种利用图结构和邻居顶点属性信息学习顶点Embedding表示的方法，GCN是直推式学习（只能在一个已知的图上进行学习），不能直接泛化到未知节点，当网络结构改变以及新节点的出现，直推式学习需要重新训练（复杂度高且可能会导致embedding会偏移），很难落地在需要快速生成未知节点embedding的机器学习系统上。**GraphSAGE(Grap

文章目录基本符号定义图神经网络的公式定义GCN基本结构GCN层的tensorflow2.0实现图卷积神经网络（GCN）的核心思想：学习一个映射f(.)f(.)f(.)，通过该映射图中的节点viv_ivi​可以聚合它自己的特征xix_ixi​与它的邻居特征xj  (j∈N(vi))x_j \;(j \in N(v_i))xj​(j∈N(vi​))来生成节点的新viv_ivi​表示。图卷积本质上是一种aggregation（聚合）操作，是一种局部加权平均运算。在图中"局部"是指他的邻居，简单起见，把有边的权

本文主要讲解Bert模型的基本原理与Fine-tuning。基本原理BERT是一种 预训练语言模型 ，即首先使用大量无监督语料进行语言模型预训练（Pre-training），再使用少量标注语料进行微调（Fine-tuning）来完成具体NLP任务（分类、序列标注、句间关系判断和机器阅读理解等）。BERT的全称是Bidirectional Encoder Representation from Transformers，即：基于transformer的双向Encoder，所以在学习BERT之前先对Sel

文章目录SDNE基本思想二阶相似度（无监督）一阶相似度（有监督）核心代码库实现应用—阿里凑单算法SDNE基本思想SDNE（Structural Deep Network Embedding ）主要目标是保持网络的一阶相似性和二阶相似性。（相似性定义参考 【Graph Embedding】LINE的原理、核心代码及其应用）一阶相似度指：具有边相连的节点的Embedding向量具有相似性。主要反映了 Graph 的局部特征二阶相似性指：拥有共同邻居但不是直接相连的两个顶点之间应该具有相似性。反映了 Gr

文章目录node2vec的同质性和同构性node2vec的基本思想模型采样策略学习算法应用不同于基于DFS邻域的DeepWalk和基于BFS邻域的LINE。node2vec是一种综合考虑DFS邻域和BFS邻域的graph embedding方法，可以看作是deepwalk的一种扩展，是结合了DFS和BFS随机游走的deepwalk。node2vec的同质性和同构性（1）网络的同构性是指距离近的节点的Embedding的结果应相似，如下图的u和s1u和s_1u和s1​；如何使Graph Embeddi

文章目录LINE基本思想一阶相似度二阶相似度优化技巧核心代码库实现LINE基本思想LINE: Large-scale Information Network Embedding与DeepWalk相似都是基于领域相似假设的方法，DeepWalk是基于深度优先搜索，LINE是基于广度优先搜索。LINE还可以应用在带权图中(DeepWalk仅能用于无权图)。不同graph embedding方法之间的一个主要区别是图中顶点之间的相似度的定义不同，在LINE中有两种相似度的定义方法。如下图：图中的边可以是

DeepWalk理论DeepWalk的来源图嵌入是指在图中随机游走生成顶点的序列，构成训练集，然后采用word2vec中的Skip_gram方法为图中的每个结点学习一个低维向量表示，这是一个无监督训练生成表示向量的过程。DeepWalk 出自论文：DeepWalk: Online Learning of Social Representations，最初提出是用于社交网络关系的提取。给定一个关系：GL=(V,E,X,Y),G_L= (V, E, X, Y ),GL​=(V,E,X,Y), 利用图结构中的

文章目录背景基本原理1. 模型的输入2. Interest Extractor Layer3. Interest Evolving LayerDeepctr实现背景DIEN（Deep Interest Evolution Network）是DIN的改进版，先回顾一下DIN模型：DIN模型的核心思想是：在用户兴趣多样性的推荐背景下，利用用户的历史行为数据，通过Attention机制来捕捉被推荐物品的相对兴趣。DIN模型没有考虑到用户的兴趣的动态变化，如何在CTR中捕捉到用户兴趣的发展变化，就是DIEN

文章目录基本想法基准模型DIN模型基本原理训练技巧mini-batch aware激活函数GAUC 评估指标Deepctr实现基本想法首先说说DIN（Deep Interest Network）到底在干嘛，DIN主基本想法是：利用用户的历史行为序列（下单，点击等）提高推荐物品的点击率。论文中有这样一幅图：图中显示了一个女生的行为序列，被推荐物品是一个女大衣。传统的推荐物品的CTR计算方法是不会区别对待历史行为中的物品与被推荐物品的相关度，也就是下文提到的基础模型。DIN最大的特点是在计算推荐物品的

文章目录简介核心结构输入和嵌入InteractingLayer(交互层)损失函数tensorflow 2.0 实现AutoInt引入必要的库数据预处理模型的构建embedding层dense特征Embeddingsparse特征Embedding合并embedding层Interacting Layer输出层模型的编译模型的训练与验证deepctr库实现AutoInt简介AutoInt: Automatic Feature Interaction Learning viaSelf-Attentive N

文章目录数据预处理模型的构建part1—Linear层Part2—CINpart3—DNN部分part4—输出部分模型的编译与运行本文基于tensorflow2.0实现的 xDeepFM 结构。数据集： Criteo 的500000条数据子集。必要的库import numpy as npimport pandas as pdimport tensorflow as tffrom tensorflow.keras.layers import *from tensorflow.keras.mode

本文基于tensorflow2.0实现Deep & Cross Network(DCN)结构，数据集：Criteo 的500000条数据子集。预处理必要的库：import numpy as npimport pandas as pdimport tensorflow as tffrom tensorflow.keras.layers import *from tensorflow.keras.models import Modelimport tensorflow.keras.bac

文章目录Deep & Cross NetworkxDeepFMDeep & Cross Network在CTR模型中，FM可以自动组合特征，但也仅限于二阶叉乘。Deep & Cross 主要解决CTR模型中如何自动学习高阶的特征组合。Deep & Cross Network（DCN）自动构造有限高阶的交叉特征，并学习对应权重，告别了繁琐的人工叉乘。Deep & Cross的网络结构如图所示：主要包括四个部分，输入部分，Cross network部分，Deep

文章目录数据预处理模型的构建与训练FM部分一阶特征二阶（交叉）特征DNN部分组合FM和DNN模型训练本文基于tensorflow2.0实现的DeepFM 结构。数据集： Criteo 的500000条数据子集。必要的库import pandas as pdimport numpy as npimport tensorflow as tffrom tensorflow.keras.layers import *from sklearn.preprocessing import LabelEnco

通过FM系列—FM+FFM详解我们知道：FM通过对于每一维特征的隐变量内积来提取特征组合。虽然理论上来讲FM可以对高阶特征组合进行建模，但实际上因为计算复杂度的原因一般都只用到了二阶特征组合。那么对于高阶的特征组合，则通过多层的神经网络即DNN去解决。背景DeepFM模型包含FM和DNN两部分，FM模型可以抽取low-order特征，DNN可以抽取high-order特征。在CTR中，通常将特征转为one-hot的形式，但如果将这些特征输入到DNN中，会导致网络参数太多，如下图所示：为了解决这个问

文章目录FM基本思想模型学习FM vs SVMFFM基本思想模型学习FFM应用预估CTR/CVR，业界常用的方法有人工特征工程 + LR(Logistic Regression)、GBDT(Gradient Boosting Decision Tree) + LR、FM（Factorization Machine）和FFM（Field-aware Factorization Machine）模型。本文先介绍FM，然后介绍FM的改进FFM。FM基本思想FM（Factorization Machine）

推荐系统基本架构图推荐系统的基本架构图如下：A 负责从数据库或者缓存中拿到用户行为数据，通过分析不同行为，生成当前用户 的特征向量。不过如果是使用非行为特征，就不需要使用行为提取和分析模块了。该模 块的输出是用户特征向量。在利用用户行为计算特征向量时需要考虑以下因素：用户行为的种类 ，用户行为产生的时间，用户行为的次数，物品的热门程度。B 负责将用户的特征向量通过特征-物品相关矩阵转化为初始推荐物品列表。C 负责对初始的推荐列表进行过滤、排名等处理，从而生成最终的推荐结果。过滤模块会过滤掉以

本文转载：广告点击率(CTR)预测经典模型 GBDT + LR 理解与实践（附数据 + 代码）

文章目录基本思想数学原理协同过滤算法主要包括基于用户的协同过滤（User-Based CF）、基于物品的协同过滤（Item-Based CF）、隐语义模型（Latent Factor Model）等。LFM（latent factor model）隐语义模型从诞生到今天产生了很多著名的模型和方法。其实该算法最早在文本挖掘领域被提出，用于找到文本的隐含语义。相关的算法有LSI、pLSA、LDA和Topic Model。推荐系统的用户行为分为显性反馈和隐性反馈。LFM在显性反馈数据（也就是评分数据）上解决评分

文章目录基于用户的协同过滤(UserCF)基本思想例子基于物品的协同过滤(ItemCF)基本思想例子ItemCF 改进归一化UserCF 与 ItemCF 对比协同过滤简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息。具体的又分为基于用户的协同过滤（User Collaboration Filter）和基于商品的协同过滤（Item Collaboration Filter）基于用户的协同过滤(UserCF)基本思想基于用户的协同过滤推荐的基本原理是，根据所有用户对物品的偏好，