Recurrent Event Network: Autoregressive Structure Inference overTemporal Knowledge Graphs

huihui12a

已于 2023-04-01 19:11:00 修改

阅读量496

点赞数 1

分类专栏：论文阅读知识图谱文章标签：知识图谱

于 2023-03-31 18:19:53 首次发布

本文链接：https://blog.csdn.net/zhangxiaohuiNO1/article/details/129884429

版权

论文阅读同时被 2 个专栏收录

24 篇文章 1 订阅

订阅专栏

知识图谱

8 篇文章 0 订阅

订阅专栏

[1904.05530] Recurrent Event Network: Autoregressive Structure Inference over Temporal Knowledge Graphs (arxiv.org)

摘要

作者提出递归事件网络（RE-NET），用于预测未来交互的新的自回归体系结构。事实的发生被建模为以过去知识图的时间序列为条件的概率分布。RE-NET使用RNN Encoder对过去的事实进行编码，使用邻域Aggregator对相同时间的事实链接进行建模。基于这两个模块以顺序的方式推断出未来事实。

1 Introduction

1.KG存储了现实世界的事实，但大多不完整，因此要研究预测事实，但大多数推理研究集中于静态知识图谱，然而一个事实不可能永远是真的，引入时间t很重要，即TKG。

2.TKG推理主要有插值和外推两种方式。在插值设置中，预测时间t的新事实，使得t0≤t≤tT。相反，外推法推理，专注于在大于tT（即t>tT）的时间戳t上预测新的事实（例如，看不见的事件）。外推设置对TKG推理特别感兴趣，因为它有助于在未来的时间戳上填充知识图，并有助于预测新出现的事件。

3.解决外推法TKG推理问题的Know Evolve和其扩展DyRep假设在推理时给出先前事件的基本事实，来预测未来事件。所以如果没有先前事件的基本事实，这些方法无法在未来时间戳上顺序预测事件。但它们并没有对同一时间窗口（例如，一天或12小时）内发生的并发事件进行建模因此，希望有一种原则性的方法，该方法可以通过将时间窗口内的并发事件建模为局部图来推断未来时间戳上的图结构。

RE-NET的关键思想基于：（1）在多个时间戳上预测未来事件可以被公式化为一个连续的多步骤推理问题；（2）时间上相邻的事件可以携带相关的语义和信息模式，这可以进一步帮助预测未来的事件（即时间信息）；以及（3）多个事件可以在同一时间窗口内共同发生并且表现出实体之间的结构依赖性（即局部图结构信息）。

递归事件编码器汇总过去事件序列的信息，邻域聚合器聚合同一时间窗口内并发事件的信息。根据总结的信息，我们的解码器定义了当前事件的联合概率。预测未来事件的推断可以通过以顺序的方式随时间对图进行采样来实现。

2 Problem Formulation

时间知识图是一个多关系的有向图，实体之间边带有时间，事件定义为带时间戳的边，表示为(s,r,o,t)。将时间t处的一组事件表示为Gt。学习时间生成模型的目标是基于一组观察到事件集{G1，…，Gt}来学习TKG上的分布p(G)。

模型结构如图2所示。Aggregator对全局图结构和局部领域进行编码，分别捕获全局和局部信息，递归Encoder使用图结构的编码表示序列来更新其状态，MLP解码器定义了当前图形的概率。

建模时间事件的联合分布

以自回归的方式定义所有eventsG={G1,…,GT}的联合分布，并将联合分布分解为序列的条件分布，p(Gt|Gt−m:t−1),即假设t事件的events Gt依赖于以前的m个时间戳的events Gt−m:t−1。在给定以前Gt−m:t−1，认为组成Gt的 event是相互独立的。因此联合分布可以写为

依据这些概率生成三元组。给定所有过去的事件Gt−m:t−1，首先对主题实体st到p（st|Gt−m:t−1）进行采样。然后，生成了一个与p（rt|st，Gt−m:t−1）的关系rt，最后由p（ot|st，rt，Gt–m:t−2）生成了对象实体ot

3 Recurrent Event Network

RE-NET由RNN组成，作为用于时间依赖的递归时间Encoder和图结构依赖的邻域Aggregator。

3.1 Recurrent Event Encoder

为了参数化每个事件的概率，引入global representation Ht和local representation ht(s) ht(s,r)。

参数化p(ot|s，r，Gt−m:t−1)，其中es，er∈Rd是为主体实体s和关系r指定的可学习嵌入向量。ht−1（s，r）∈Rd是在时间戳（t−1）处获得的（s，r）的局部表示。直观地说，es和er可以理解为主题实体s和关系r的静态嵌入向量，而ht−1(s，r)在每个时间戳都是动态更新的。在此基础上，将静态的es与et以及动态的ht−1(s，r)作为特征，将它们传入到由{wot}参数化的（线性softmax分类器）MLP Decoder中，进一步计算不同实体ot的概率。

可以以相同的方式参数化关系e和主语s，只是s中使用的是特征是global representation Ht-1

定义全局表征和局部表征如下所示：

其中g是各种聚合函数， $N_{t}^{(s)}$ 在代表当前时间步长t处与s相关的所有事件。g（Gt）是在时间t对所有事件Gt的聚合。我们定义 $g(G_{t})=max(N_{t}^{(s)})$ 。局部表示更多地关注每个实体和关系，因此聚合来自与该实体相关的事件 $N_{t}^{(s)}$ 的信息。其次，为了让RE-NET更好地描述不同实体之间的关系，我们将全局表示Ht视为定义中的一个额外特征，它充当了连接不同实体的桥梁

3.2 Neighborhood Aggregators

Mean Pooling Aggregator

基线聚合器简单地取 $\{\bold e_{o}: o\in N_{t}^{(s,r)}\}$ 的element-wise 表征均值，作为聚合结果。

Attentive Pooling Aggregator

通过添加主体和关系的注意力函数，权重可以确定每个对象实体与主体和关系之间的相关性。

Multi-Relational Graph (RGCN) Aggregator

使用RGCN，可以合并来自多关系和多跳邻居的信息。

3.3 Parameter Learning and Inference

给定(s,r)预测object entity可以被看作一个多分类任务，给定s预测r、以及预测s都可以看作多分类任务。损失函数可以表示为

Multi-step Inference over Time

RE-NET试图根据之前的观测结果预测即将发生的事件。假设当前时间为t，目标是预测时间t+∆t的事件，其中∆t>0。然后，多步骤推理的问题可以形式化为推断条件概率p（Gt+∆t|G:t）需要在所有Gt+1:t+∆t−1上进行积分。为了实现有效的推断，我们绘制Gt+1:t+∆t−1的样本，并估计条件概率如下：

首先计算p(Gt+1|G:t)，从条件分布中采样一个 $\hat {G}_{t+1}$ ，再进一步计算 $p(G_{t+2}|\hat {G}_{t+1},G_{:t})$ ,迭代采样与计算条件分布，最终得到

huihui12a

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
Recurrent Event Network: Autoregressive Structure Inference overTemporal Knowledge Graphs

作者提出递归事件网络（RE-NET），用于预测未来交互的新的自回归体系结构。事实的发生被建模为以过去知识图的时间序列为条件的概率分布。RE-NET使用RNN Encoder对过去的事实进行编码，使用邻域Aggregator对相同时间的事实链接进行建模。基于这两个模块以顺序的方式推断出未来事实。
复制链接

扫一扫