浅谈知识融合

知识和融合

一、介绍知识融合主要从下面俩点着手

什么叫知识融合（看完这幅图可能就明白）

简单点来说：知识融合就是在不同的数据集中找出同一个实体的描述记录

知识融合的目的：他是对不同数据源中的信息进行整合，形成更加全变得实体信息

• 实体链接

  实体链接（entity linking）：是指对于从文本中抽取得到的实体对象，将其链接到知识库中对应的正确实体对象的操作。

  其基本思想是首先根据给定的实体指称项，从知识库中选出一组候选实体对象，然后通过相似度计算将指称项链接到正确的实体对象。

  研究历史：

  1. 仅关注如何将从文本中抽取到的实体链接到知识库中，忽视了位于同一文档的实体间存在的语义联系。
  2. 开始关注利用实体的共现关系，同时将多个实体链接到知识库中。即集成实体链接（collective entity linking）

  实体链接的流程：

  1. 从文本中通过实体抽取得到实体指称项。

  2. 进行实体消歧和共指消解，判断知识库中的同名实体与之是否代表不同的含义以及知识库中是否存在其他命名实体与之表示相同的含义。

  3. 在确认知识库中对应的正确实体对象之后，将该实体指称项链接到知识库中对应实体。

     4 实体消歧**：专门用于解决同名实体产生歧义问题的技术，通过实体消歧，就可以根据当前的语境，准确建立实体链接，实体消歧主要采用聚类法。其实也可以看做基于上下文的分类问题，类似于**词性消歧和词义消歧

     5.共指消解**：主要用于解决多个指称对应同一实体对象的问题。在一次会话中，多个指称可能指向的是同一实体对象。利用共指消解技术，可以将这些指称项关联（合并）到正确的实体对象，由于该问题在信息检索和自然语言处理等领域具有特殊的重要性，吸引了大量的研究努力。共指消解还有一些其他的名字，比如对象对齐、实体匹配和实体同义。

• 知识合并

  在构建知识图谱时，可以从第三方知识库产品或已有结构化数据获取知识输入。

  常见的知识合并需求有两个，一个是合并外部知识库，另一个是合并关系数据库。

  将外部知识库融合到本地知识库需要处理两个层面的问题：

  数据层的融合，包括实体的指称、属性、关系以及所属类别等，主要的问题是如何避免实例以及关系的冲突问题，造成不必要的冗余
  通过模式层的融合，将新得到的本体融入已有的本体库中
  然后是合并关系数据库，在知识图谱构建过程中，一个重要的高质量知识来源是企业或者机构自己的关系数据库。为了将这些结构化的历史数据融入到知识图谱中，可以采用资源描述框架（RDF）作为数据模型。业界和学术界将这一数据转换过程形象地称为RDB2RDF，其实质就是将关系数据库的数据换成RDF的三元组数据。

• 知识加工

  在前面，我们已经通过信息抽取，从原始语料中提取出了实体、关系与属性等知识要素，并且经过知识融合，消除实体指称项与实体对象之间的歧义，得到一系列基本的事实表达。

  然而事实本身并不等于知识。要想最终获得结构化，网络化的知识体系，还需要经历知识加工的过程。

  知识加工主要包括3方面内容：本体构建、知识推理和质量评估。

  • 本体（ontology）是指工人的概念集合、概念框架，如“人”、“事”、“物”等。

    本体可以采用人工编辑的方式手动构建（借助本体编辑软件），也可以以数据驱动的自动化方式构建本体。因为人工方式工作量巨大，且很难找到符合要求的专家，因此当前主流的全局本体库产品，都是从一些面向特定领域的现有本体库出发，采用自动构建技术逐步扩展得到的。

    自动化本体构建过程包含三个阶段：

    1. 实体并列关系相似度计算

    2. 实体上下位关系抽取

    3. 本体的生成

       比如对下面这个例子，当知识图谱刚得到“阿里巴巴”、“腾讯”、“手机”这三个实体的时候，可能会认为它们三个之间并没有什么差别，但当它去计算三个实体之间的相似度后，就会发现，阿里巴巴和腾讯之间可能更相似，和手机差别更大一些。

       这就是第一步的作用，但这样下来，知识图谱实际上还是没有一个上下层的概念，它还是不知道，阿里巴巴和手机，根本就不隶属于一个类型，无法比较。因此我们在实体上下位关系抽取这一步，就需要去完成这样的工作，从而生成第三步的本体。

       当三步结束后，这个知识图谱可能就会明白，“阿里巴巴和腾讯，其实都是公司这样一个实体下的细分实体。它们和手机并不是一类。”
       

  • 知识推理

    在我们完成了本体构建这一步之后，一个知识图谱的雏形便已经搭建好了。但可能在这个时候，知识图谱之间大多数关系都是残缺的，缺失值非常严重，那么这个时候，我们就可以使用知识推理技术，去完成进一步的知识发现。

    我们可以发现：如果A是B的配偶，B是C的主席，C坐落于D，那么我们就可以认为，A生活在D这个城市。

    根据这一条规则，我们可以去挖掘一下在图里，是不是还有其他的path满足这个条件，那么我们就可以将AD两个关联起来。除此之外，我们还可以去思考，串联里有一环是B是C的主席，那么B是C的CEO、B是C的COO，是不是也可以作为这个推理策略的一环呢？

    当然知识推理的对象也并不局限于实体间的关系，也可以是实体的属性值，本体的概念层次关系等。

    推理属性值：已知某实体的生日属性，可以通过推理得到该实体的年龄属性；
    推理概念：已知(老虎，科，猫科)和（猫科，目，食肉目）可以推出（老虎，目，食肉目）
    这一块的算法主要可以分为3大类，基于逻辑的推理、基于图的推理和基于深度学习的推理。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j8fK3mLN-1589775956193)(https://ftp.bmp.ovh/imgs/2020/05/5ec9948cdbd8dff8.png)]

    ​

  • 知识更新

    从逻辑上看，知识库的更新包括概念层的更新和数据层的更新。

    概念层的更新是指新增数据后获得了新的概念，需要自动将新的概念添加到知识库的概念层中。
    数据层的更新主要是新增或更新实体、关系、属性值，对数据层进行更新需要考虑数据源的可靠性、数据的一致性（是否存在矛盾或冗杂等问题）等可靠数据源，并选择在各数据源中出现频率高的事实和属性加入知识库。
    知识图谱的内容更新有两种方式：

    • 全面更新：指以更新后的全部数据为输入，从零开始构建知识图谱。这种方法比较简单，但资源消耗大，而且需要耗费大量人力资源进行系统维护；
    • 增量更新：以当前新增数据为输入，向现有知识图谱中添加新增知识。这种方式资源消耗小，但目前仍需要大量人工干预（定义规则等），因此实施起来十分困难。

    ​

    总结

    通过知识图谱，不仅可以将互联网的信息表达成更接近人类认知世界的形式，而且提供了一种更好的组织、管理和利用海量信息的方式。目前的知识图谱技术主要用于智能语义搜索、移动个人助理（Siri）以及深度问答系统（Watson），支撑这些应用的核心技术正是知识图谱技术。

    在智能语义搜索中，当用户发起查询时，搜索引擎会借助知识图谱的帮助对用户查询的关键词进行解析和推理，进而将其映射到知识图谱中的一个或一组概念之上，然后根据知识图谱的概念层次结构，向用户返回图形化的知识结构，这就是我们在谷歌和百度的搜索结果中看到的知识卡片。

    在深度问答应用中，系统同样会首先在知识图谱的帮助下对用户使用自然语言提出的问题进行语义分析和语法分析，进而将其转化成结构化形式的查询语句，然后在知识图谱中查询答案。比如，如果用户提问：『如何判断是否感染了埃博拉病毒？』，则该查询有可能被等价变换为『埃博拉病毒的症状有哪些？』，然后再进行推理变换，最终形成等价的三元组查询语句，如（埃博拉，症状，？）和（埃博拉，征兆，？）等。如果由于知识库不完善而无法通过推理解答用户的问题，深度问答系统还可以利用搜索引擎向用户反馈搜索结果，同时根据搜索结果更新知识库，从而为回答后续的提问提前做出准备。

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​

    ​