NLP表示学习
文章平均质量分 91
刘知远老师的书的阅读笔记
只鸥周
这个作者很懒,什么都没留下…
展开
-
07-World Knowledge Representation
7 World Knowledge Representation世界知识表示旨在在低维语义空间中表示知识图中的实体和关系,已广泛应用于大型知识驱动任务中。在本章中,我们首先介绍了知识图的概念。接下来,我们将介绍其动机,并概述了现有的知识图表示方法。此外,我们将讨论几种旨在处理知识图表示的当前挑战的高级方法。我们还回顾了知识图表示的现实世界中的应用,如语言建模、问题回答、信息检索和推荐系统。7.1 Introduction为了将知识编码到现实应用中,知识图表示表示分布式表示知识图中的实体和关系,并应用于原创 2023-09-07 09:53:50 · 67 阅读 · 0 评论 -
06-Sememe Knowledge Representation
6 Sememe Knowledge Representation语言知识图(例如,WordNet和HowNet)描述了形式语言和结构语言中的语言知识,它们可以很容易地融入到现代自然语言处理系统中。在本章中,我们将重点关注关于HowNet的研究。我们首先简要介绍了HowNet和半音素的背景和基本概念。接下来,我们介绍半素表示学习的动机和现有的方法。在本章的最后,我们回顾了半音素表示的重要应用。6.1 Introduction在自然语言处理(NLP)领域中,单词通常是最小的研究对象,因为它们被认为是人类原创 2023-09-07 09:53:07 · 83 阅读 · 0 评论 -
08-Network Representation
8 Network Representation网络表示学习的目的是将网络中的顶点嵌入到低维密集表示中,其中网络中相似的顶点应该具有“接近”表示(通常通过其表示的余弦相似度或欧氏距离来衡量)。这些表示法可以作为顶点的特征,并应用于许多网络研究任务。在本章中,我们将介绍过去十年来的网络表示学习算法。然后,我们将讨论它们在应用于各种现实世界的网络时的扩展。最后,我们将介绍一些常见的网络表示学习评估任务和相关数据集。作为一种表示对象及其关系的自然方式,该网络在我们的日常生活中无处不在。Facebook和推特等原创 2023-09-07 09:54:30 · 103 阅读 · 0 评论 -
09-Cross-Modal Representation
Kottur等人[30]还提出了一种神经模型来从视觉信息中捕获细粒度的语义。我们不关注真实的像素,而是考虑视觉背后的抽象场景。该模型以一对视觉场景和一个相关的单词序列(I,w)作为输入。在每个训练步骤中,在单词序列w上使用一个窗口,形成一个子序列Sw。Sw中的所有单词将使用单热编码输入到输入层,因此输入层的维度是|V |,这也是词汇表的大小。然后将单词转换为它们的嵌入,而隐藏层是所有这些嵌入的平均值。隐层的大小为NH,这也是单词嵌入的维数。原创 2023-09-07 09:55:49 · 74 阅读 · 0 评论 -
02-扩展-ELMo原理解析及简单上手使用
首先,一个非常明显的缺点在特征抽取器选择方面,ELMo 使用了 LSTM 而不是新贵 Transformer,Transformer 是谷歌在 17 年做机器翻译任务的“Attention is all you need”的论文中提出的,引起了相当大的反响,很多研究已经证明了 Transformer 提取特征的能力是要远强于 LSTM 的。其中,假定数据集有 V 个单词, W′ 是V∗m 的矩阵, ℎk 是 m∗1 的列向量,于是最终结果是 V∗1 的归一化后向量,即从输入单词得到的针对每个单词的概率。原创 2023-09-06 16:22:04 · 159 阅读 · 0 评论 -
02-Word Representation
在本章的其余部分中,我们从独热表示开始。此外,我们还详细介绍了分布式词表示模型,包括布朗集群、潜在语义分析、Word2vec和GloVe。然后介绍了两个典型的词表示评价任务。最后,我们讨论了单词表示模型的各种扩展。原创 2023-09-06 16:21:23 · 74 阅读 · 0 评论 -
02-扩展-word2vec
基于训练数据建模的过程,我们给它一个名字叫“Fake Task”,意味着建模并不是我们最终的目的。为了有效地进行计算,这种稀疏状态下不会进行矩阵乘法计算,可以看到矩阵的计算的结果实际上是矩阵对应的向量中值为1的索引,上面的例子中,左边向量中取值为1的对应维度为3(下标从0开始),那么计算结果就是矩阵的第3行(下标从0开始)—— [10, 12, 19],这样模型中的隐层权重矩阵便成了一个”查找表“(lookup table),进行矩阵计算时,直接去查输入向量中取值为1的维度下对应的那些权重值。原创 2023-09-06 16:23:28 · 242 阅读 · 0 评论 -
03-Compositional Semantics
NLP领域中的许多重要应用都依赖于理解更复杂的语言单元,如短语、句子和单词之外的文档。因此,组合语义仍然是自然语言处理的核心任务。在本章中,我们首先介绍了二进制语义组合的各种模型,包括加性模型和乘法模型。在此之后,我们提出了各种典型的n元语义组成模型,包括递归神经网络、递归神经网络和卷积神经网络。pfuvRK其中,p对应于联合语义单位(u,v)的表示。需要注意的是,这里的u和v可以表示单词、短语、句子、段落,甚至是更高层次的语义单位。其中,K表示背景知识。其中,R。原创 2023-09-06 16:24:49 · 105 阅读 · 0 评论 -
04-Sentence Representation
句子是自然语言中的一个重要的语言单位。句子表示一直是自然语言处理的核心任务,因为在相关领域的许多重要应用在于理解句子,如摘要、机器翻译、情感分析和对话系统。句子表示的目的是将语义信息编码为实值表示向量,并将其用于进一步的句子分类或匹配任务。随着互联网上大规模的文本数据和深度神经网络的最新进展,研究人员倾向于使用神经网络(如卷积神经网络和递归神经网络)来学习低维句子表示,并在相关任务上取得很大的进展。在本章中,我们首先介绍了句子的单热表示和n-gram句子表示(即概率语言模型)。原创 2023-09-06 16:25:37 · 117 阅读 · 0 评论 -
01-Representation Learning and NLP
自然语言是一种典型的非结构化信息。传统的自然语言处理(NLP)严重依赖于特征工程,这需要仔细的设计和相当多的专业知识。表示学习旨在学习原始数据的表示,作为进一步分类或预测的有用信息。本章简要介绍了表示学习,包括其动机和基本思想,并回顾了它在机器学习和自然语言学习方面的历史和最新进展。原创 2023-09-06 16:20:37 · 36 阅读 · 0 评论 -
05-Document Representation
主题建模算法是一种分析原始文本中的单词,以探索贯穿它们的主题,这些主题是如何连接的,以及它们是如何随时间变化的统计方法。我们可以放大一个令人感兴趣的主题,如外交政策,来揭示它的各个方面,如中国的外交政策、中东的冲突和美国与俄罗斯的关系。在本章中,我们引入了文档表示学习,它将整个文档的语义信息编码为实值表示向量,为利用文档信息进行下游任务提供了一种有效的方法,并显著提高了这些任务的性能。实际上,词袋表示主要用作特征生成的工具,而从该方法计算出的最常见的特征类型是文档中出现的词频。计算相似度得分进行排序。原创 2023-09-06 16:26:20 · 76 阅读 · 0 评论