本文目录
- 1.知识推理概述
- 2. 端到端可微证明(Neural Theorem Provers, NTP)[2]End-to-End Differentiable Proving阅读:
- 3. 改进方法1:基于大规模知识库和自然语言的可微推理(Greedy NTP,GNTP)[3]Differentiable Reasoning on Large Knowledge Bases and Natural Language
- 4. 改进方法2:端到端可微证明中的学习推理策略[4]Learning Reasoning Strategies in End-to-End Differentiable Proving:
- 5 改进方法3:用RNN描述搜索区域的神经定理证明器[5]Neural Theorem Provers Delineating Search Area Using RNN
- 阅读思考
- 阅读感受
- 参考文献
1.知识推理概述
知识推理主要分为两种类型的任务[1],其本质都是评估知识三元组的质量。
知识推理目前的主流分类方法一般是基于规则的推理、基于表示的推理、基于神经网络的推理和混合推理。这些方法的特点如下[1]:
上述方法按照人工智能中符号/神经网络的分类方法,可以分为符号推理和神经网络推理。符号推理即依据传统的命题逻辑、一阶逻辑等进行知识推理,神经网络推理则通过用嵌入表示方法进行计算,两种方法都各有利弊[2]:
问题1:符号系统(基于逻辑规则)推理无法学习亚符号表示的相似性,方法对于相似但不相同的查询难以泛化(举例:符号系统对英语语法形成一套逻辑,换成中文语法就不能进行)
问题2:亚符号系统(神经网络模型)推理基于打分函数,识别关系传递的能力差,造成较低的可解释性(举例:神经网络不能从A是B的父辈、B是C的父辈这两个事实推理出A是C的祖辈,而可能是通过一些表示上的相似性)
2. 端到端可微证明(Neural Theorem Provers, NTP)[2]End-to-End Differentiable Proving阅读:
2.1 本文的目标问题
研究一种基于知识图谱的推理方法,使得能够将符号推理和神经网络推理方法的优点结合,取长补短,以提高知识推理的一阶逻辑规则利用效率和推理可解释性。
可微指的是目标函数可微,因此可以使用反向传播算法优化模型。
2.2 本文的定义符号
Atom:类似三元组,[grandfatherof,Q,BART],包含一个关系谓词predicate、两个实体items。
Predicate:关系谓词,例如parentof
Items:实体,包括变量实体(如Q)和常量实体(如BART)。
Rules:H:-B。B表示规则主体,是一系列atoms组成的列表;H是单个atom,表示“头规则”。
ground rule:没有自由变量的rule。
fact:只有头规则的rule,即B为空,且不含变量。
涉及序列的“:“:用冒号表示一个序列中预先设定的元素,例如e:E表示实体列表E中一个实体e。
证明状态S:由替换集合 S ψ S_{\psi } Sψ和证明分数 S ρ S_{\rho} Sρ组成。替换集合 S ψ S_{\psi } Sψ的形式为{变量/实体,变量/实体,…},表示将一个实体(有可能是变量有可能是常量)配置到变量上。
2.3 本文的算法模型
2.3.1 问题背景
一个查询目标元组,如[grandfatherof, Q , BART];
一个知识库KB,包含上述定义的相关规则;
对于给定的查询目标元组,通过利用知识图谱中的规则训练模型,证明这个三元组成立并得到证明的最优推理路径。
2.3.2 算法构成
算法的核心概念:证明状态S
证明状态 S = S ψ , S ρ S={S_{\psi },S_{\rho }} S