自然语言处理
ZNWhahaha
NLP,Unity3D
展开
-
自然语言处理——向量语义及嵌入(余弦相似度、TF-IDF、Word2Vec)
向量语义及嵌入向量语义 在类似的环境中不同事物产生出相似的特征,这一现象称为分布假设。而在语言中,处于相同语境中的不同词语也会出现类似的意义,向量语义正是分布假设的实例化,即将文本的符号表示转换为语义空间中的向量表示。根据词语所处语境,通过无监督方式学习到该词语的语义表示。词语义 词语义主要包括以下几个方面: 词的相似性:同义词并不多,不过多数词都有多个相似词。同义到相似的转换,实际上是词义关系到词语关系的转换。词语相似性有助解决问答、摘要等任务。 词相关:在同一语境下的不同词语存在这一原创 2020-05-10 22:53:17 · 3755 阅读 · 1 评论 -
机器学习——朴素贝叶斯与分类问题
朴素贝叶斯与分类问题贝叶斯定理贝叶斯定理的基本内容:在运用概率对某一事件进行推断之往往已经事先掌握了关于这一事件的概率,这个概率可能是主观概率或者相对概率,这种初始的概率可以称为先验概率。如果在后续的研究中,通过抽样调查样本等消息源又获得了有关该事件的信息,我们就可以根据这些新信息对先验概率进行修正,使先验概率变为后验概率。这个修正概率的定理就称为贝叶斯定理。贝叶斯定理是用来描述两个条件概率...原创 2020-04-25 13:28:53 · 907 阅读 · 0 评论 -
自然语言处理——文本相似度
文本相似度简述前言文本相似度算法基于关键词匹配N-Gram相似度Jaccard相似度基于向量空间Word2vecTF-IDF向量空间与相似度计算基于深度学习卷积神经网络(CNN)前言 在自然语言处理的学习和研究中,有好多问题涉及到如何检测两个文本的相似度问题,尤其是在度量句子或者短语之间的相似度。测算度量文本相似度的方法大体有三种:基于关键词匹配的传统方法、基于向量空间的方法和利用深度学习进...原创 2020-03-28 19:20:36 · 3080 阅读 · 0 评论 -
自然语言处理——隐马尔可夫模型(HMM)及中文分词器
隐马尔可夫模型概念基础从马尔可夫假设到隐马尔可夫模型隐马尔可夫模型的三要素隐马尔可夫模型的训练隐马尔科夫模型的预测概念基础从马尔可夫假设到隐马尔可夫模型 马尔可夫假设是指:每一个时间的发生2概率只取决于前一个时间。当将满足该假设的多个事件串联在一起时,构成马尔可夫链。 而在自然语言的情景下,满足假设的连续的多个事件可以具象为单词,即马尔可夫模型具象为二元语法模型。 由此可得隐马...原创 2020-03-28 15:36:15 · 1393 阅读 · 1 评论 -
自然语言处理笔记——学习自然语言处理前所要了解的知识
学习自然语言处理前所要了解的知识自然语言处理自然语言与编程语言的区别词汇量结构化歧义性容错性易变性简略性自然语言处理结构语音、图像和文本中文分词、词性标注、命名实体识别信息抽取文本分类和聚类句法分析语义分析与篇章分析其他高级任务功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPan...原创 2020-02-08 17:31:06 · 1316 阅读 · 0 评论