- 博客(131)
- 收藏
- 关注
RSS订阅原创 Wide&Deep
当用户访问应用商店时，会生成一个查询，其中可以包含各种用户和上下文功能。推荐系统返回一个应用程序列表(也称为曝光)，用户可以在上面执行某些操作，如点击或购买。这些用户操作，连同查询和query，作为训练数据记录在日志中。得分通常是P(y|x)，即给定特征x的用户操作标签y的概率，包括用户特征(如国家、语言、人口统计)、上下文特征(如设备、一天中的小时、一周中的哪一天)和印象特征(如应用年龄、应用的历史统计)。
2024-04-20 17:50:38
790
原创 unboundlocalerror: local variable ‘××ב referenced before assignment
如果我的flag不是train和valid中的值，那么就会出现问题，因此再加上一个else处理这种情况。
2023-10-30 22:01:58
450
原创 两个模型共享部分参数，联合训练
想将model1的entities_emb，也当作第model2的entities_emb，这样在更新model2参数的时候，能更新entities_emb。首先在定义模型时，模型二的参数中加入model1.entities_emb。思路就是这样了，成功实现联合训练。
2023-10-10 11:19:58
205
原创 Pycharm调试时，到达断点后，一直connected
Pycharm调试时，到达断点后，一直connected，画了一上午时间，最后发现是因为我dataloader使用的是多进程，选中Gevent兼容后解决。
2023-10-09 15:18:24
327
1
原创 Hierarchical attentive knowledge graph embedding for personalized recommendation
大多数现有的方法都不足以利用KG来捕获用户偏好，因为它们要么通过具有有限表达性的路径来表示用户-物品的连接，要么通过在整个KG上传播信息来隐式地建模，并带有不可避免的噪声。因为基于路径的方法的线性路径只能捕获用户-物品连接的部分语义，而用户-物品连接最初是由具有丰富语义和非线性拓扑的子图表示的。基于传播的方法不是直接表示用户-物品连接性，而是通过在整个KG上传播信息来隐式地对它们进行建模，其中用户偏好通常是通过聚合来自所有邻居的信息来学习的，会引入与目标物品无关的噪声。
2023-09-20 21:20:59
104
原创 Sequential Recommendation with Graph Neural Networks
在外部环境和内部认知的共同影响下，用户的核心兴趣在不断演变。通常邻接矩阵应该是非负的，但从度量中计算出的余弦相似值在[-1,1]之间，简单的规范化它不会对图的稀疏性施加任何约束，并且可以产生一个完全连接的邻接矩阵，计算复杂的大，并且可能引入噪声，即不重要的边，因为不够稀疏，导致后续的图卷积不能关注图的最相关方面。已经有可学习的兴趣图区分不同的兴趣，核心兴趣和外围兴趣分别形成大集群和小集群，不同类型的兴趣形成不同的集群，此外，为了将弱信号收集到能够准确反映用户偏好的强信号，需要在构建的图中聚合信息。
2023-09-15 14:42:07
274
原创 GNN动态顺序推荐Dynamic Graph Neural Networks for Sequential Recommendation
为了更新每一层的用户节点表示，需要从每个用户节点的邻居中提取两种类型的信息，分别是长期偏好和短期偏好。此时用户兴趣变化不仅受到自身交互商品(一阶交互项)变化的影响，还受到高阶连接的用户和他们交互的商品的变化的影响，随时间变化。考虑到用户序列扩展时，其邻居序列的数量在不断增加，所有用户组成的动态图的规模在逐渐扩大，会增加计算量和噪声，因此提出采样策略。（1）这些模型没有利用不同用户序列之间的协作信息，仅仅侧重于每个用户自己的序列，忽略了不同用户序列之间的高阶连通性。不同层次的用户嵌入强调了用户的不同偏好。
2023-09-13 20:09:24
534
原创 Conditional Graph Attention Networks for Distilling and Refining Knowledge Graphs in Recommendation
对于给定的user-item对(u,v)，KAGCN的注意力依赖于知识边，和目标无关。未用GraphSAGE的对邻居节点统一采样，因为知识图通常是有噪声的，并且充满了与目标无关的信息。将user点击item作为一种关系，因为一个user会点击多个item，因此存在一对多，使用可以建模一对多的TransH，生成实体的嵌入向量。**模型既能保持全局语义相似度，又能动态生成目标特定的子图，**对知识图进行提炼和细化，从而准确推断局部用户偏好。重，这部分独立于目标，衡量的是知识关系本身对任务的重要性，令。
2023-07-20 21:40:45
277
1
原创 DKN和KGC阅读
作者将外部知识图包含的知识融入新闻嵌入。（1）将新闻标题单词词嵌入，单词链接的实体嵌入，以及实体的上下文嵌入(邻居实体嵌入的平均)建模为CNN输入的三个通道。（2）然后使用KCNN模型，使用多个不同大小的卷积核，对输入三通道的嵌入向量做卷积运算，对每一个卷积运算结果取最大值，并将最大值结果进行拼接，获得最终的新闻嵌入向量。（3）用户的嵌入向量是用户历史点击新闻嵌入向量的加权和，权重由历史点击的新闻和候选新闻使用DNN计算得到。
2023-07-17 11:42:22
218
原创 KGAT: Knowledge Graph Attention Network for Recommendation
User-Item Bipartite Graph：在推荐场景中，通常有历史用户项目交互(例如，购买和点击)，将交互数据表示为用户-物品二部图。Knowledge Graph：除了user-item之间的交互外，还有物品的side-information(例如，物品属性和外部知识)。通常，这些辅助数据由真实世界的实体和额外的知识组成。作者将side-information组成知识图，并有一个实体和item的对齐的集合，
2023-07-17 11:35:07
493
原创 《深度学习推荐系统》笔记
图中的隐层表达（Hidden Representation层）就是对不同Embedding进行加权平均操作的层，将加权平均后的Embedding向量输入softmax层，通过梯度反向传播，求得每个Embedding的权重。
2023-07-14 16:56:21
2318
原创 Structural Deep Clustering Network
深度聚类方法通常是通过深度学习强大的表示能力来提升聚类结果，例如自动编码器，这表明学习一个有效的聚类表示是一个至关重要的要求。深度聚类方法的优势在于从数据本身中提取有用表示，但很少从数据结构中提取有用表示。因为GCN在提取图结构编码方面取得了很大成功。作者提出了一种结构深度聚类网络(SDCN)，将结构信息整合到深度聚类中。即设计了一个传递算子将自编码器学习到的表征传递到相应的GCN层，并设计了一个双重自监督机制来统一这两种不同的深度神经结构并指导整个模型的更新。
2023-05-31 11:25:23
785
3
原创 One2Multi Graph Autoencoder for Multi-view Graph Clustering
多视图图聚类受到关注，它寻求用，可以提供更全面但更复杂信息的多个视图，对图进行划分。虽然一些方法在多视图聚类方面取得了不错的成功，但大多采用shallow model处理多视图图内部的复杂关系，会限制多视图图信息建模能力。作者首次尝试将深度学习技术应用于属性多视图图聚类，提出了一种新的任务导向的One2Multi图自编码器聚类框架。One2Multi图自编码器能够通过使用一个信息图视图和内容数据来重建多个图视图学习节点嵌入。因此，可以很好地捕获多个图的共享特征表示。
2023-05-30 22:21:46
706
原创 Energy-Based Learning for Scene Graph Generation
将image graph和场景图分别输入能量模型，并分别使用门控图神经网络和新型边缘图神经网络进行状态细化。然后，使用池化层获得每个图的向量表示。这些表示被连接起来，并作为输入传递给多层感知器，该感知器预测联合输入(图像)-输出(场景图)配置的能量。损耗是根据真实值和预测组态的能量值计算的。
2023-05-30 14:51:28
641
原创 Few-Shot Knowledge Graph Completion
以往的KGC认为每个关系有足够的实体对可以进行学习，但在实际数据集中，关系的频率分布往往有长尾，在KG中，很大一部分关系只有很少的实体对，因此如何处理实体对有限的关系是有挑战的。通过关注权αi考虑了异构关系邻居的不同影响，并利用实体ti和关系ri的嵌入来计算αi。最后损失函数结合实体对查询和参考集嵌入之间的相似性，以及第二步计算参考集嵌入的重构损失；作者通过聚合参考集Rr中所有实体对的表示来产生Rr的的嵌入。Qr是关系r的所有查询对的集合。T步处理后的最后一层的隐藏层状态gT是查询对的嵌入。
2023-05-25 18:00:11
1035
原创 DMGI:Unsupervised Attributed Multiplex Network Embedding
多路网络中的节点通过多种类型的关系连接。然而，大多数现有的网络嵌入方法都假设节点之间只存在一种类型的关系。即使对于那些考虑网络多样性的人来说，他们也忽略了节点属性，依靠节点标签进行训练，并且无法对图的全局属性进行建模。提出DMGI，该方法最大化了图局部补丁之间的互信息，以及整个图的全局表示。设计了一种系统的方法来联合集成来自多个图的节点嵌入，引入1)共识正则化框架，最小化特定关系类型节点嵌入之间的分歧，以及2)通用判别器，区分真实样本，而不考虑关系类型。
2023-05-19 16:55:24
878
原创 MAGNN: Metapath Aggregated Graph Neural Network forHeterogeneous Graph Embedding
MAGNN采用了三个主要组件，即节点内容转换封装输入节点属性，元路径内聚合合并中间语义节点，元路径间聚合合并来自多个元路径的消息。MAGNN首先应用类型特定的线性变换将异构节点属性(不同节点类型的维度可能不相等)投影到相同的潜在向量空间。接下来，MAGNN对每个元路径应用带有注意机制的内部元路径聚合。在此元路径内部聚合期间，每个目标节点从连接该节点及其基于元路径的邻居的元路径实例中提取并组合信息。通过这种方式，MAGNN从邻居节点和中间的元路径上下文捕获异构图的结构和语义信息。在元路径内聚合之后，MAG
2023-05-18 22:24:26
338
原创 Pytorch代码——持续更新
例如第2行中，[0,4,1]升序后的索引为[1,2,0]，每个元素的排名为[2,0,1]使用一个argsort后得到的是张量中按列降序排序后的索引，再使用一个argsort后是张量中每一个元素的排名。返回张量中每个元素对应的排名。1 连续两个argsort。
2023-05-15 10:54:24
171
原创 Sequence-to-Sequence Knowledge Graph Completion and Question Answering
作者可以将encoder-decoder的Transformer当作KGE模型。将KG链接预测任务当作sequence-to-sequence任务，并将以前KGE模型使用的triple score方式变为自回归解码方式。
2023-05-12 11:10:19
388
原创 ConMask: Open-World Knowledge Graph Completion
引入一个名为ConMask的开放世界KGC模型，该模型学习实体名称和部分文本描述的嵌入，将看不见的实体连接到KG。为了减少嘈杂文本描述的存在，ConMask使用依赖关系的内容掩码来提取相关片段，然后训练全卷积神经网络，将提取的片段与KG中的实体融合。
2023-05-06 15:50:36
781
原创 dgl._ffi.base.DGLError: Device API gpu is not enabled. Please install the cuda version of dgl.
先卸载已经安装的dgl。
2023-05-05 09:35:33
2801
3
原创 How Does Knowledge Graph Embedding Extrapolateto Unseen Data: A Semantic Evidence View
这篇文章很巧妙，相比于其它KGE文章：（1）本文探讨为什么模型可以外推到没有见过的三元组；（2）假设是外推能力是因为学习到三个层次的语义证据，这些语义证据是只依赖于数据的，和模型无关。作者对多个KGE模型进行实验，发现对于语义证据强的数据，所有模型的效果都好，证明了假设。（3）因此作者发现其它KGE模型外推是因为也隐式学到了语义证据，作者显式明确地建模语义证据，实验发现效果好。
2023-05-01 21:40:17
313
原创 IMF: Interactive Multimodal Fusion Model for Link Prediction
提出了一种新的两阶段融合模型IMF，该模型能够有效地整合不同模式的互补信息，用于链路预测。（2）设计了一个有效的多模态融合模块，通过对比学习来捕捉双线性交互，从而对共性和互补性进行联合建模。（3）在四个广泛使用的多模态链路预测数据集上进行了大量实验，证明了IMF的有效性和通用性
2023-04-26 17:12:51
1136
1
原创 指定了具体的gpu，但是仍然使用的是gpu0
在运行代码时，发现指定了gpu，但是仍然使用的时gpu0，gpu0已经占满，导致。但是要注意gpu编号发生了变化，原来的gpu2编号为0。一定要在import torch前加。
2023-04-19 20:43:42
983
原创 Learning from History: Modeling Temporal Knowledge Graphs with SequentialCopy-Generation Networks
作者观察到许多事实沿着时间线显示出重复的模式(例如经济和外交活动)，说明一个模型可以从历史上出现的已知事实学到很多东西。因此作者提出的CyGNet包括两部分：（1）复制模式(Copy Mode):旨在识别重复出现的事实，从历史中和某（s,p）交互的所有目标（o）实体组成的历史词汇中选择实体，作为预测结果；（2）生成模式（Generation Mode）:从整个实体词汇中预测实体。最后将两种预测概率加权组合。
2023-04-03 15:11:37
347
原创 Recurrent Event Network: Autoregressive Structure Inference overTemporal Knowledge Graphs
作者提出递归事件网络（RE-NET），用于预测未来交互的新的自回归体系结构。事实的发生被建模为以过去知识图的时间序列为条件的概率分布。RE-NET使用RNN Encoder对过去的事实进行编码，使用邻域Aggregator对相同时间的事实链接进行建模。基于这两个模块以顺序的方式推断出未来事实。
2023-03-31 18:19:53
485
原创 安装旧版本的torch1.0.0(Linux)
4 安装torchvision0.2.1。1 创建新的环境，激活新的环境。可以从历史版本里选择你要的版本。一定要特别注意cuda的版本。3 安装torch1.0.0。2 安装cuda9.0。
2023-03-17 14:48:02
1032
1
原创 BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
BERT是Transformer的双向编码器,是self-supervised,包括两个步骤：1. 使用两个任务预训练:1)Masked LM,随机mask token，然后预测原始的mask token;2)NSP,判断是否为下一个句子，两个句子是否连在一起（类似于二分类）。2.微调。之后将预训练的BERT用于下游任务。在应用到不同下游任务时，只用改一下输出层，使用下游任务的输入和输出。BERT模型首先使用预训练的参数进行初始化。只有为了任务加入的层需要随机初始化，从头训练。然后使用来自下游任务的标记
2023-03-11 16:50:19
1972
5
原创 Transformer:Attention is All You Need
Transformer第一个完全依靠自我注意来计算输入和输出表示的transduction model，不用序列对齐的rnn和CNN，实现高度并行化。
2023-03-10 16:41:33
782
原创 Reasoning Over Paths in Knowledge Bases using Reinforcement Learning
提出了一种新的算法MINERVA，它解决了更加困难和实际的任务，即回答关系已知但只有一个实体的问题。由于随机行走在目标未知且从一个开始节点有许多路径组合的情况下是不切实际的，我们提出了一种神经强化学习方法，学习如何在输入查询的条件下导航图以找到预测路径。通过对七个知识库数据集的综合评估，我们发现MINERVA与目前许多最先进的方法相比具有竞争力。
2023-03-01 20:08:30
293
1
原创 DeepPath: A Reinforcement Learning Method forKnowledge Graph Reasoning
未来能否不用认为定义的奖励函数，而是训练一个判别模型给与奖励KG没有足够的推理路径时的效果较差的问题。
2023-02-28 11:38:41
818
2
原创 CS224W 8 GNN Augmentation andTraining
目录 Graph Augmentation for GNNs引入Why Graph AugmentationGraph Augmentation ApproachesFeature Augmentation on Graphs Input graph没有node featuresGNN很难学习的一些特定结构Graph Structure augmentationAugment sparse graphs——添加虚拟节点或边Node Neighborhood SamplingPrediction with G
2022-12-03 18:16:35
793
原创 论文阅读2 Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
现有的知识图嵌入模型主要关注对称/反对称、反转和复合symmetry/antisymmetry, inversion, and composition等关系模式的建模。然而，许多现有的方法无法对建模。
2022-11-28 18:55:19
800
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人