读end2end quantum language model

端到端的类量子语言模型

计算机科学与技术专业    2117216082   赵东浩

 

摘要: 语言模型的研究是一直是一个基础的研究课题，基于Alessandro Sordoni在信息检索领域发表的量子语言模型，本实验室提出了端到端的类量子语言模型，并将其成功应用在QA任务中。该模型通过构建新的密度矩阵来联合表示问题和答案，最后将得到的密度矩阵传到卷积神经网络[1]中。实验证明在wikiQA和trecQA数据集上取得了不错的效果。

关键词：QA；量子语言模型；密度矩阵

1 引言

当前在信息检索或者在自然语言处理领域，常用的语言模型有统计语言模型和神经网络语言模型。统计语言模型通过句子的每一个单词计算联合概率分布，神经网络语言模型可以得到每一个词的分布式表示。

最近Alessandro Sordoni提出了量子语言模型[2]，该模型在构建多元的依赖关系时，参数的多少只跟单词的个数有关而和构建的元数无关，并且该模型不需要外置的语料库，而索冬尼也是第一个通过量子理论概括出了语言模型。但是量子语言模型必须通过迭代的方法来进行最大似然估计，最终得出密度矩阵，但这种迭代的方法很难在网络中实现；量子语言模型在处理表示，估计和排序时是依次进行的。以上两点直接限制了量子语言模型的适用性，为扩宽该模型的适用范围，本文介绍了一种新的模型神经网络类量子语言模型[3]，该模型很好的解决了上述问题。

神经网络类量子语言模型，将句子中的每个单词用矩阵（向量乘以向量的转置）表示，且每个单词乘以各自的权重，将最后的结果相加构成一个句子的矩阵，称之为密度矩阵，将其传到网络中，并通过反向传播算法自动更新单词的权重。本模型是一种端到端的语言模型，并将量子理论成功的应用在QA任务中，通过密度矩阵表示语义空间，并使用卷积神经网络提取特征值，从而完成问题与答案之间的排序与匹配。

2 量子语言模型

2.1 量子基本概念

      在量子概率事件中，用希尔伯特空间来表示概率空间，也可以用符号 来表示，将其压缩到实际空间则为 ，一个单位向量 用右态矢 来表示，它的对偶向量表示为 称为左态矢,左右矢量的内积为 ，向量 外积用 来表示，它也可以表示一种量子状态，