NLP
JohnBanana
666
展开
-
Deep NMT: Sequence to Sequence Learning with Neural Networks 介绍
总览: Abstract:本文提出了一种通用的端 对端的方法进行序列到序 列的学习,其中的 Encoder和Deocder都是 多层的LSTM。我们的模 型在机器翻译上取得了非 常好的效果。Introduction:为了处理变长的输入和变长的 输出,我们使用了LSTM来作 为Encoder和Deocder,并且 得到了很好的结果。The Model:我们使用两个不同的LSTM来作为 Encoder和Deocder,其中Encoder将源 语言编码成定长的向量,Deocder生成一个...原创 2020-09-25 19:35:52 · 376 阅读 · 0 评论 -
FastText 简介
论文地址:https://arxiv.org/pdf/1607.01759.pdf开源源码地址:https://github.com/facebookresearch/fastText简介: 1、本文提出了一种简单并且高效的 文本分类模型,我们模型的效果 和其他深度学习模型相当,但是 速度快了几个数量级。 2、文本分类是自然语言处理中非常重 要的任务,基于深度学习的文本分 类任务效果很好,但是速度很慢。 而线性分类器一般也表现很好,而 且速度快,所以本文提出了...原创 2020-07-26 17:15:23 · 535 阅读 · 0 评论 -
CharTextCNN:Character-level Convolutional Networks for Text Classification 简介
Character-level Convolutional Networks for Text Classification(使用字符级别的卷积神经网络来做文本分类任务)摘要:1.本文从实验角度探索了字符级别卷积神经网络用于文本分类的有效性。2.我们构造了几个大规模的文本分类数据集,实验结果表明我们的字符级别文本分类模型能够取得最好的或者非常有竞争力的结果。3.对比模型包括传统的词袋模型、n-grams模型以及他们的tf-idf变体,还有一些基于深度学习的模型,包括基于卷积神经网络和循环原创 2020-07-26 10:45:03 · 420 阅读 · 2 评论 -
TextCNN简介
论文名: TextCNN: Convolutional Neural Networks for Sentence Classification摘要:1. 使用简单的CNN模型在预训练词向量基本上进行微调就可以在文本分类任务上得到很好的结果。2. 通过对词向量进行微调而获得的任务指向的词向量能够得到更好的结果。3. 我们也提出了一种即使用静态预训练词向量又使用任务指向词向量的文本分类模型。4. 最终我们在7个文本分类任务中的四个上都取得了最好的分类准确率。TextCNN结构:..原创 2020-07-22 19:59:08 · 2367 阅读 · 0 评论 -
C2W介绍
简介: 1、提出了一种新的通过字符来构建词向量的方法,这种方法可以学习到单词中复杂的形式结构,从而在两个任务上得到最优的结果。 2、单词之间不应该是彼此独立的,形式上的一致性会造成功能上的一致性,我们通过双向LSTM来学习这种形式一致性,并且取得了 非常好的结果。 3、介绍词向量机制的两个缺点,并且介绍非词向量机制的方法。、 摘要:1.我们提出了一种新的使用字符和双向LSTM生成词表示的模型。2.相对于传统的词向量方法,我们的C...原创 2020-07-12 16:05:58 · 1799 阅读 · 0 评论 -
GloVe:Global Vectors for Word Representation 理论介绍
1、背景介绍2、 摘要: 提出了一种新的词向量学习方法GloVe, GloVe能够同时利用全局的统计信息和局部的上下文信息从而学习到非常好的词向量 3、 准备工作 前人工作介绍,主要介绍矩阵分解和Word2vec两种方法 4、 介绍: 矩阵分解和Word2vec学习词向量的方式各有优劣,本文提出的GloVe同时学习者两种信息 5、 模型介绍: 介绍GloVe的推导过程,GloVe与其他模型之间的联系,Gl...原创 2020-07-01 16:51:24 · 394 阅读 · 0 评论 -
Word2Vec理论介绍
一、语言模型: 概率:语言模型是计算一个句子是是句子的概率。 通过概率计算来刻画语言模型???????????????????????????????? ={????1, ????2 , … , ????????}P(张三 很 帅)=P(张三)*P(很|张三)*P(帅|张三, 很)P(张很帅 很 帅)=P(张很帅)*P(很|张很帅)*P(帅|张很帅, 很)P(张三 很 漂亮)=P(张三)*P(很|张三)*P(漂亮|张三, 很)统计语言模型中的平滑操作: 有一原创 2020-06-24 17:05:39 · 719 阅读 · 0 评论