tensorflow2.0
zhong_ddbb
这个作者很懒,什么都没留下…
展开
-
GAT基本原理与tensorflow2.0实现
文章目录Attention的基本形式GAT基本原理GAT的原理tensorflow2.0 实现GATAttention的基本形式图注意力模型(Graph Attention Network GAN)将attention引入图神经网络。在GAN中有两种思路:(1)Global graph attention即在更新图中某一个节点的Embedding时,图上的每一个顶点 iii 都参与到attention运算。优点:完全不依赖于图的结构,对于inductive任务无压力缺点:忽略了图结构的这个特征原创 2020-12-07 21:28:52 · 2022 阅读 · 1 评论 -
【Graph Neural Network】 GraphSAGE 基本原理与tensorflow2.0实现
文章目录GraphSAGE 前向传播算法采样算法&聚合(aggragator)操作参数学习基于tensorflow2.0实现Graph SAGEGCN是一种利用图结构和邻居顶点属性信息学习顶点Embedding表示的方法,GCN是直推式学习(只能在一个已知的图上进行学习),不能直接泛化到未知节点,当网络结构改变以及新节点的出现,直推式学习需要重新训练(复杂度高且可能会导致embedding会偏移),很难落地在需要快速生成未知节点embedding的机器学习系统上。**GraphSAGE(Grap原创 2020-11-24 21:33:54 · 2102 阅读 · 1 评论 -
GCN基本原理与tensorflow2.0实现
文章目录基本符号定义图神经网络的公式定义GCN基本结构GCN层的tensorflow2.0实现图卷积神经网络(GCN)的核心思想:学习一个映射f(.)f(.)f(.),通过该映射图中的节点viv_ivi可以聚合它自己的特征xix_ixi与它的邻居特征xj (j∈N(vi))x_j \;(j \in N(v_i))xj(j∈N(vi))来生成节点的新viv_ivi表示。图卷积本质上是一种aggregation(聚合)操作,是一种局部加权平均运算。在图中"局部"是指他的邻居,简单起见,把有边的权原创 2020-11-20 21:30:30 · 5821 阅读 · 3 评论 -
SDNE(Structural Deep Network Embedding )的原理,实现与应用
文章目录SDNE基本思想二阶相似度(无监督)一阶相似度(有监督)核心代码库实现应用—阿里凑单算法SDNE基本思想SDNE(Structural Deep Network Embedding )主要目标是保持网络的一阶相似性和二阶相似性。(相似性定义参考 【Graph Embedding】LINE的原理、核心代码及其应用)一阶相似度指:具有边相连的节点的Embedding向量具有相似性。主要反映了 Graph 的局部特征二阶相似性指:拥有共同邻居但不是直接相连的两个顶点之间应该具有相似性。反映了 Gr原创 2020-10-18 17:22:26 · 5194 阅读 · 4 评论 -
tensoflow2.0常见函数速查
文章目录concat & concatenate & addFlatten & Embedding乘法tf.multiply(x,y)tf.tensordot(a,b,axes)tf.matmul其他tf.sequence_mask()tf.split()tf.tiletf.gather & tf.slice()tf.expand_dims & tf.squeezetf.where()tf.cast()concat & concatenate & a原创 2020-10-18 15:34:43 · 557 阅读 · 0 评论 -
【Graph Embedding】LINE的原理、核心代码及其应用
文章目录LINE基本思想一阶相似度二阶相似度优化技巧核心代码库实现LINE基本思想LINE: Large-scale Information Network Embedding与DeepWalk相似都是基于领域相似假设的方法,DeepWalk是基于深度优先搜索,LINE是基于广度优先搜索。LINE还可以应用在带权图中(DeepWalk仅能用于无权图)。不同graph embedding方法之间的一个主要区别是图中顶点之间的相似度的定义不同,在LINE中有两种相似度的定义方法。如下图:图中的边可以是原创 2020-10-16 09:44:43 · 1134 阅读 · 0 评论 -
[CTR模型] DIEN(Deep Interest Evolution Network)模型解读与Deepctr实现
文章目录背景基本原理1. 模型的输入2. Interest Extractor Layer3. Interest Evolving LayerDeepctr实现背景DIEN(Deep Interest Evolution Network)是DIN的改进版,先回顾一下DIN模型:DIN模型的核心思想是:在用户兴趣多样性的推荐背景下,利用用户的历史行为数据,通过Attention机制来捕捉被推荐物品的相对兴趣。DIN模型没有考虑到用户的兴趣的动态变化,如何在CTR中捕捉到用户兴趣的发展变化,就是DIEN原创 2020-10-10 19:12:45 · 1730 阅读 · 0 评论 -
[CTR模型] DIN(Deep Interest Network)模型解读与Deepctr实现
文章目录基本想法基准模型DIN模型基本原理训练技巧mini-batch aware激活函数GAUC 评估指标Deepctr实现基本想法首先说说DIN(Deep Interest Network)到底在干嘛,DIN主基本想法是:利用用户的历史行为序列(下单,点击等)提高推荐物品的点击率。论文中有这样一幅图:图中显示了一个女生的行为序列,被推荐物品是一个女大衣。传统的推荐物品的CTR计算方法是不会区别对待历史行为中的物品与被推荐物品的相关度,也就是下文提到的基础模型。DIN最大的特点是在计算推荐物品的原创 2020-10-10 10:57:08 · 2769 阅读 · 5 评论 -
tensorflow2.0自定义loss,metrics,callback
本文主要介绍在tensorflow2.0中如何自定义loss,metric,以及如何动态检测loss 实现提前停止。以手写数字数据集作为模型的输入,构造一个简单的模型用于说明。(1)引入必要的库,加载数据集import tensorflow as tfimport tensorflow.keras.layers as layersimport tensorflow.keras as keras(x_train, y_train), (x_test, y_test) = keras.datase原创 2020-10-05 11:37:42 · 4285 阅读 · 5 评论 -
tensorflow2.0实现复杂神经网络(多输入多输出nn,Resnet)
文章目录常见的‘融合’操作具有多个输入和输出的模型ResNet 模型常见的‘融合’操作复杂神经网络模型的实现离不开"融合"操作。常见融合操作如下:(1)求和,求差# 求和layers.Add(inputs)# 求差layers.Subtract(inputs)inputs: 一个输入张量的列表(列表大小至少为 2),列表的shape必须一样才能进行求和(求差)操作。例子:input1 = keras.layers.Input(shape=(16,))x1 = keras.layers原创 2020-10-03 19:52:59 · 9984 阅读 · 1 评论 -
基于tensorflow2.0的RNN实战(单向RNN,双向RNN,Attention+RNN)
文章目录基本结构实战—单向RNN实战—双向RNN实战—Attention+RNN基本结构RNN常见的结构如下:其中的单元AAA可以是全连接RNN,LSTM,GRU。tensorfow2.0中将这三个封装到以下接口中:keras.layers.SimpleRNNkeras.layers.GRUkeras.layers.LSTM对于序列预测,如机器翻译,我们需要同时获得所有的单元A的输出(h0,h1⋯ ,ht)(h_0,h_1\cdots,h_t)(h0,h1⋯,ht)。对于分类和回归问原创 2020-09-27 16:18:37 · 5508 阅读 · 3 评论 -
CNN的基本原理与实战(基于tensorflow2.0)
文章目录CNN基本原理卷积层池化层全连接层CNN的实现手写数字识别图片的编码解码CNN基本原理主要包括卷积层,池化层,全连接层。卷积层1、二维卷积(1)卷积(Conv2D)主要负责提取图像钟的局部特征,卷积核进行卷积运算的过程如下:注:蓝色图是输入,而青色图是输出,下同。具体计算细节如下图:每一个卷积核都可以从不同的角度提取图片中的信息。假定输入图片大小 W×W,Filter大小 F×F ,步长 S,padding的像素数 P。于是我们可以得出 输出图片大小为NxN,其中 N =原创 2020-09-25 16:40:45 · 3890 阅读 · 0 评论 -
AutoInt原理+实现代码+deepctr库实现
文章目录简介核心结构输入和嵌入InteractingLayer(交互层)损失函数tensorflow 2.0 实现AutoInt引入必要的库数据预处理模型的构建embedding层dense特征Embeddingsparse特征Embedding合并embedding层Interacting Layer输出层模型的编译模型的训练与验证deepctr库实现AutoInt简介AutoInt: Automatic Feature Interaction Learning viaSelf-Attentive N原创 2020-09-23 19:22:44 · 2906 阅读 · 1 评论 -
tensorflow2.0实现xDeepFM
文章目录数据预处理模型的构建part1—Linear层Part2—CINpart3—DNN部分part4—输出部分模型的编译与运行本文基于tensorflow2.0实现的 xDeepFM 结构。数据集: Criteo 的500000条数据子集。必要的库import numpy as npimport pandas as pdimport tensorflow as tffrom tensorflow.keras.layers import *from tensorflow.keras.mode原创 2020-08-16 19:17:59 · 1039 阅读 · 6 评论 -
tensorflow2.0实现Deep & Cross Network(DCN)
本文基于tensorflow2.0实现Deep & Cross Network(DCN)结构,数据集:Criteo 的500000条数据子集。预处理必要的库:import numpy as npimport pandas as pdimport tensorflow as tffrom tensorflow.keras.layers import *from tensorflow.keras.models import Modelimport tensorflow.keras.bac原创 2020-08-15 13:49:43 · 2278 阅读 · 1 评论 -
tensorflow2.0实现DeepFM
文章目录数据预处理模型的构建与训练FM部分一阶特征二阶(交叉)特征DNN部分组合FM和DNN模型训练本文基于tensorflow2.0实现的DeepFM 结构。数据集: Criteo 的500000条数据子集。必要的库import pandas as pdimport numpy as npimport tensorflow as tffrom tensorflow.keras.layers import *from sklearn.preprocessing import LabelEnco原创 2020-08-12 19:16:25 · 2579 阅读 · 4 评论 -
tensorflow2.0教程—快速入门
文章目录模型的序列化API基本示例模型细节查看查看序列化模型中间层的输出序列化API型缺陷模型的函数式API基本步骤应用模型的训练和评估(1)加载数据集(2)模型的compile(3)模型的训练(4)模型的评估、预测多输入多输出模型模型的保存与读取本文主要讲解tensorflow 2.0 搭建网络结构的技术细节。在使用tensorflow 之前首先导入tensorflowimport tensorflow as tffrom tensorflow import kerasfrom tensorfl原创 2020-10-05 09:35:23 · 4234 阅读 · 0 评论