Sequence to Sequence Learning with Neural Networks（2014，seq2seq必读经典）论文阅读笔记

最新推荐文章于 2024-03-29 17:05:44 发布
最新推荐文章于 2024-03-29 17:05:44 发布
阅读量172 收藏
点赞数
分类专栏： 论文阅读笔记 文章标签： 深度学习 人工智能 python 自然语言处理 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyk9916/article/details/118002934
版权

一、Introduction

DNN只能应用于输入和目标可以用固定维数的向量进行合理编码的问题。这是一个很大的限制，因为许多重要的问题最好用长度未知的序列来表达。

作者提出了一种端到端的序列学习方法，它对序列结构做了最小的假设：
使用一个多层LSTM将输入序列映射到一个固定维数的向量，然后另一个LSTM将该向量解码为目标序列。

作者提出的方法取得了很好的效果，并且发现颠倒所有源句子(而不是目标句子)中单词的顺序显著提高了LSTM的表现，因为这样做在源句子和目标句子之间引入了许多短期依赖性，这使得优化问题更容易。

二、模型

在这里插入图片描述
如图所示，输入序列的长度和输出序列的长度不固定。模型读取的输入句子是颠倒词序后的句子，最后以< EOS >为结尾。输出序列同样输出< EOS >作为结尾。

本文使用的LSTM计算公式是Graves（2013）中提出的添加了peephole的变体：

在这里插入图片描述
作者提出的模型主要有3个特点：

1.使用了两个LSTM：一个是encoder，另一个是decoder。
2.使用了深层的LSTM：4层
3.颠倒了输入句子的顺序，如将（a，b&#x

最低0.47元/天 解锁文章
zyk9916
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文献阅读笔记|《Sequence to sequence Learning with Neural Networks》
01-03
自然语言处理方向机器翻译的经典论文之一。
《Sequence to Sequence Learning with Neural Networks》论文笔记
dingyi5625的博客
02-05 572
机器翻译论文笔记 （Sequence to Sequence Learning with Neural Networks） 一.摘要 此论文中，实现机器翻译的核心模型是长短期记忆神经网络(Long Short-Term Memory, LSTM)，首先通过一个多层的LSTM将输入的语言序列（下文简称源序列）转化为一个特定维度的向量，然后另一个深层LSTM根据此向量编译...
论文阅读笔记（一）《Sequence to Sequence Learning with Neural Networks》
happypipi123的博客
03-18 702
论文下载链接：https://arxiv.org/pdf/1409.3215.pdf 创新点： 针对神经网络（DNN）不能用于将序列映射到序列的问题，提出一种通用的端到端序列学习方法。 论文内容： DNN：语音识别、视觉对象识别 优势：可以执行任意并行计算的适当数目的步骤。 局限性：只能应用于输入和目标能够合理编码固定维向量的问题。 长短期记忆神经网络（LSTM）：将可变长度的输入句子映射成一个固定维度的向量。 传统的序列-序列模型： 当输入和输出对齐时，输入序列通过一个循环神经网络（RNN）被压缩成一个固
《Sequence to Sequence Learning with Neural Networks》阅读笔记
solejay
08-10 457
Abstract DNNs 可用于各种复杂的学习任务并取得很好的效果，但是 DNNs 不能用于序列到序列的映射。这篇论文提出了一种端到端（end-to-end）的神经网络模型，来学习这种映射关系。作者用一个多层的 LSTM 网络来将输入序列映射（编码）为一个固定大小维度的向量，再用另外一个多层的 LSTM 网络来解码该向量为输出序列。在 WMT-14 英语 - 法语的翻译任务中取得很好的结果（BLEU 34.8）。 同时，作者发现模型对句子的主动与被动语态并不敏感，但是对输入词的顺序很敏感；逆转输入序列的顺
Sequence to Sequence Learning with Neural Networks--阅读笔记
qq_40722284的博客
05-10 224
主要内容 存在问题 尽管DNNs在有大量标记训练集的情况下工作良好，但它们不能用于将序列映射到序列。只适用于输入和目标可以用固定维数向量合理编码的问题，许多重要的问题都是用长度未知的序列来表示。 针对上述问题，提出一种通用的端到端序列学习方法，它对序列结构做了最小的假设。 端到端序列方法结构 使用多层长短时记忆(LSTM)将输入序列映射到一个固定维数的向量上，再用另一个深度LSTM从向量...
Sequence-to-point learning with neural networks for nonintrusive load monitoring
11-07
使用seq2point神经网络进行点对点学习以进行非侵入式负载监测
Pervasive Attention 2D Convolutional Neural Networks for Sequence-to-Sequence
09-28
在深度学习领域，序列到序列（Sequence-to-Sequence，Seq2Seq）模型是处理变长输入和输出序列问题的重要工具，广泛应用于机器翻译、语音识别、文本摘要等任务。传统的Seq2Seq模型通常由一个编码器和一个解码器组成，...
Generating Sequences With Recurrent Neural Networks（英文原版）
07-04
一篇较好的描述seq2seq模式的英文资料。This paper shows how Long Short-term Memory recurrent neural net- works can be used to generate complex sequences with long-range struc- ture, simply by predicting...
Seq2SeqTranslation:Translation model based on sequence to sequence model. 基于seq2seq模型的翻译模型demo
05-16
Seq2Seq（Sequence to Sequence）模型是深度学习领域中用于处理序列到序列转换任务的一种重要框架，最初由Sutskever等人在2014年的论文《Sequence to Sequence Learning with Neural Networks》中提出。这种模型在...
【论文笔记】Sequence to Sequence Learning with Neural Networks
gjh1716718326的博客
07-31 443
这是2014年的一篇文章，彼时深度学习技术刚刚问世不久，仅在一些简单的任务中应用（这些问题的输入和输出能直接转化为向量）。这篇文章介绍了将深度神经网络应用到序列任务中的方法（LSTM），并说到了（也可能是提出了）encoder-decoder的模型架构。 读文章的时候可以看到，当时的主流方法还是SMT，而深度学习一般依托于SMT或致力于优化SMT。 深度神经网络为什么难以应用到Seq2Seq 深度神经网络的输入和输出维度必须是固定的（事先设置好的） 序列任务的序列长度是不固定且未知的 解决方法：RNN
seq2seq 最佳论文
02-07
We describe a method for generating sentences from “keywords” or “headwords”. This method consists of two main parts, candidate-text construction and evaluation. The construction part generates text sentences in the form of dependency trees by using complementary information to replace information that is missing because of a “knowledge gap” and other missing function words to generate natural text sentences based on a particular monolingual corpus. The evaluation part consists of a model for generating an appropriate text when given keywords. This model considers not only word n-gram information, but also dependency information between words. Furthermore, it considers both string information and morphological information
论文学习笔记03（Sequence to Sequence Learning with Neural Networks）
Xiao_yanling的博客
04-14 347
Sequence to Sequence Learning with Neural Networks 1.模型 2.模型优点，克服了什么局限 （1）DNNs适用于输入和输出的向量的维度已经固定的问题，但sequence2sequence的翻译，输入和输出的句子的长度是不一定的。论文提出的模型克服了这个局限性（通过input->vector->output的形式） （2）LSTM很适...
Sequence to Sequence Learningwith Neural Networks论文阅读
最新发布
m0_62053105的博客
03-29 613
简要概述阅读论文Sequence to Sequence Learning with Neural Networks
论文阅读笔记（5）——《Sequence to Sequence Learning with Neural Networks》
strivequeen的博客
10-26 480
Abstract: DNN可以在有大量标记训练集下表现很好，但是无法处理用于序列映射到序列。在本文中，我们提出了一种端到端的序列训练方法，可以对序列结构做最小的假设。我们的方法使用了多层LSTM将输入序列映射成一个固定维度的向量，然后用另一个深度LSTM从向量中解码出目标序列。
机器翻译——从RNN Encoder–Decoder到LSTM Seq2Seq（经典论文解读）
L
04-19 898
RNN Encoder–Decoder 论文《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》 简介 RNN Encoder–Decoder由两个循环神经网络（recurrent neural networks，RNN）构成，...
seq2seq必读文章
xumuteqiu的博客
09-15 498
1、https://zhuanlan.zhihu.com/p/27608348 2、https://zhuanlan.zhihu.com/p/28054589
Seq2Seq论文阅读笔记
weixin_63336179的博客
07-30 196
Sequence to Sequence 算法介绍（RNN编码器-解码器）；总结与展望（实验结果简要介绍；应用领域）
Seq2Seq系列（二）:Sequence to Sequence
myofficials的博客
01-14 953
论文链接Sequence to Sequence Learning with Neural Networks 这是介绍Seq2Seq系列的第二篇文章，主要介绍Seq2Seq的基本模型。与第一篇论文Encoder-Decoder之间具有很强的连续性，内容较少。在这篇论文中，作者将Seq2Seq模型用于英译法的翻译任务中。 模型 Seq2Seq的基础是Encoder和Decoder模型，同样地
seq2seq模型介绍
05-20
Seq2seq模型（Sequence-to-Sequence Model）是一种常见的端到端（End-to-End）模型，用于处理序列到序列（Sequence-to-Sequence）的问题。该模型最初被应用于机器翻译任务，但现在被广泛用于各种自然语言处理任务，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值