Attention is all you need（Transformer）论文阅读笔记

最新推荐文章于 2022-12-11 22:00:43 发布
最新推荐文章于 2022-12-11 22:00:43 发布
阅读量293 收藏 1
点赞数 1
分类专栏： 论文阅读笔记 文章标签： 自然语言处理 人工智能 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyk9916/article/details/118573538
版权
本文深入解析Transformer模型，重点讨论多头自注意力机制、Masked Multi-Head self-Attention和Encoder-Decoder Attention，阐述如何利用注意力机制实现序列建模和转换任务的高效并行计算。
摘要由CSDN通过智能技术生成

一、背景

seq2seq模型（2014年）：https://blog.csdn.net/zyk9916/article/details/118002934

Attention模型（2015年）：https://blog.csdn.net/zyk9916/article/details/118498156

对于序列建模和转换问题，大量的研究都围绕以RNN为基础的encoder-decoder架构展开。

但是，RNN是一种时序模型，存在固有的顺序性。无论是在encoder还是decoder中，都需要获得上一个时刻的隐状态才能计算下一个时刻的隐状态。这严重阻碍了训练示例中的并行化。

本文提出了Transformer模型架构，它避免了递归和卷积，而是完全依赖于注意力机制来捕捉输入和输出之间的全局依赖关系。Transformer允许更大程度的并行化。

二、模型

Transformer模型遵循了之前的encoder-decoder架构。

在这里插入图片描述
2.1 模型总览

Encoder：Encoder由N = 6个相同层的堆叠组成。每个层包含两个子层：一是多头自注意力机制（Multi-Head self-Attention），二是前馈神经网络（Feed Forward）。每个子层后都追加一个残差连接和归一化（Add&Norm）操作。模型中的所有子层以及Embedding层均产生维度dmodel = 512的输出。

Decoder：Decoder同样由N = 6个相同层的堆叠组成。每个层包含三个字层：一是带mask操作的多头自注意力机制（Masked Multi-Head self-Attention），二是Encoder到Decoder的多头注意力机制（注意这里并不是自注意力机制）（Encoder-Decoder Multi-Head Attention），三是前馈神经网络（Feed Forward）。每个子层同样追加一个残差连接和归一化（Add&Norm）操作。

2.2 注意力机制

注意力机制是基于三种向量（或者矩阵）：查询向量（Query，Q）、键向量（

最低0.47元/天 解锁文章
zyk9916
关注
专栏目录
Transformer-02 MASK、FFN、残差连接+层归一化及Embedding
qq_30330061的博客
11-16 4604
Transformer-02 MASK、FFN、残差连接+层归一化及Embedding
【NLP】《Attention Is All You Need》的阅读笔记
让算法融入生活，改变生活！
05-14 1079
背景 在深度学习领域，如果你连Transformer都不知，那就太out了。现如今基于Transformer的模型，如Bert在NLP的下游的很多任务中都达到了sota。而这个Transformer就出自于这篇论文。虽然是2017年发表的，但是已经被称作是非常经典的论文了。下面继续像以往一样阅读，或者是原文的翻译吧。原文地址：Attention Is All You Need。在了解这个模型时也看到原文和译文的对照：https://yiyibooks.cn/yiyibooks/Attention_Is_Al
[LLM] 自然语言处理 ----- Attention机制中的Q,K,V介绍
摩登都市天空---专栏
09-14 1万+
注意力机制就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。 Q就是词的查询向量，K是“被查”向量，V是内容向量。 简单来说一句话：Q是最适合查找目标的，K是最适合接收查找的，V就是内容，这三者不一定要一致，所以网络这么设置了三个向量，然后学习出最适合的Q, K, V，以此增强网络的能力。 因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义...
《Attention Is All You Need》论文精读，并解析Transformer模型结构
Flying Bulldog 的博客
06-16 1625
建议：结合《Attention Is All You Need》论文观看此文章。Transformer的模型结构如下图所示，通过把“My money don't jiggle jiggle”翻译成“我的钱不摇晃摇晃”来分析Transformer的工作过程。训练过程中，每一次解码器的输出与数据集中的翻译值通过交叉熵计算错误率（一次送入batch_size大小个token，计算错误率），从而对权重进行更新。 预测过程，同训练过程相似，即输入英文句子，一个词一个词的翻译成汉语句子。...
通俗易懂：Attention中的Q、K、V是什么？怎么得到Q、K、V？
weixin_44371912的博客
04-29 3万+
说一下Attention中的QKV是什么，再举点例子说明QKV怎么得到。还是结合例子明白的快。 Attention中Q、K、V是什么？ 首先Attention的任务是获取局部关注的信息。Attention的引入让我们知道输入数据中，哪些地方更值得关注。 对于Q(uery)、K(ey)、V(alue)的解释，知其然而知其所以然。 首先Q、K、V都源于输入特征本身，是根据输入特征产生的向量，但目前我们现在无需关注是如何产生这组向量的。 V可以看做表示单个输入特征的向量。当我们直接把一组V输入到网络中进行训练，那
Attention is all you need论文阅读笔记
12-25
Attention is all you need 论文阅读笔记 本文是对 Attention is all you need 论文的阅读笔记，论文提出了一种新的.sequence transduction 模型，即 Transformer，该模型基于自注意力机制，舍弃了循环和卷积神经...
Attention Is All You Need：Transformer论文阅读笔记
勤劳鸟儿
09-30 519
在主流的序列转录模型里面，一般使用的是encoder（编码）和decoder（解码）架构，目前性能最好的模型也是通过将注意力机制引入encoder和decoder中来实现的。作者在此提出了一个新的模型–Transformer，通过与现存的机器翻译模型对比来说明了当前模型的优点。事实证明，transformer不仅仅在语言翻译领域应用，在视觉方面也有了新的应用，后面的DETR就是以Transformer为基础架构得到的目标检测器。
【论文笔记】Attention is all you need
BodyCsoulN的博客
11-23 3279
原文作者：Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit 原文标题：Attention is all you need 原文来源：NIPS 2017 原文链接：https://papers.nips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf Attention is all you need 主流序列转导模型基于复杂的CNN或RNN，包括编码器和解码器。有的模型使
Attention Is All You Need笔记批注版
最新发布
07-20
包含Attention Is All You Need论文及论文批注，介绍了Transformer模型原理和增加了模型公式和原理的可视化讲解图，总结了Transformer和其他模型的异同之处和优缺点。有助于快速阅读论文和了解Transformer模型
首次！无残差连接或归一化层，也能成功训练深度Transformer
Paper weekly
12-11 225
©作者 |杜伟、陈萍来源 |机器之心尽管取得了很多显著的成就，但训练深度神经网络（DNN）的实践进展在很大程度上独立于理论依据。大多数成功的现代 DNN 依赖残差连接和归一化层的特定排列，但如何在新架构中使用这些组件的一般原则仍然未知，并且它们在现有架构中的作用也依然未能完全搞清楚。残差架构是最流行和成功的，最初是在卷积神经网络（CNN）的背景下开发的，后来自注意力网络中产生了无处不在的 tr...
深度学习笔记（三）——归一化&残差网络
Oreooooo的博客
02-25 2685
6.1 批量归一化和残差网络 浅层模型：处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 深层模型：利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 全连接层 位置：全连接层中的仿射变换和激活函数之间。 分母加上很小的数值以保证不为零，同时可以引入拉伸参数与偏移参数，可以使归一化效果不好的时候无效化。 卷积层 位置：卷积计...
对Attention is all you need 的理解
热门推荐
mijiaoxiaosan的博客
06-14 6万+
对谷歌Attention is all you need 的理解。
批量归一化与残差网络
杂文集
02-25 556
批量归一化 数据标准化预处理对于浅层模型就足够有效了。但随着模型训练的进行，当每层中参数更新时，靠近输出层的输出较难出现剧烈变化。但对深层神经网络来说，即使输入数据已做标准化，训练中模型参数的更新依然很容易造成靠近输出层输出的剧烈变化。这种计算数值的不稳定性通常令我们难以训练出有效的深度模型。 批量归一化的提出正是为了应对深度模型训练的挑战。在模型训练时，批量归一化利用小批量上的均值和标准差，不断...
批量归一化和残差网络、稠密连接网络
weixin_44696221的博客
02-19 2136
批量归一化 批量归一化（BatchNormalization） 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 ...
BERT学习笔记 --持续更新
marmalade要天天向上
09-27 270
BERT完全指南： https://terrifyzhao.github.io/2019/01/17/BERT%E5%AE%8C%E5%85%A8%E6%8C%87%E5%8D%97.html Attention机制详解： https://terrifyzhao.github.io/2019/01/04/Attention%E6%A8%A1%E5%9E%8B%E8%AF%A6%E8%A7%A3.html Transformer模型详解： https://terrifyzhao.github.io/2019/
[LLM] 自然语言处理---Transformer实现(二)
摩登都市天空---专栏
08-02 7209
目录 Encoder-Decoder框架 一 整体架构 动态流程图 二 Encoder 2.1 Encoder Layer和残差网络 Residual Connection 2.2 Attention Self Attention Multi-head Attention 2.3 Add & Norm LayerNormalization 层归一化 2.4 前馈网络...
一文弄懂关于循环神经网络(RNN)的Teacher Forcing训练机制
落尘
04-08 2万+
文章目录一 RNN在训练过程中的问题二 RNN的两种训练模式三 什么是Teacher Forcing四 Free-Running vs Teacher Forcing 实例4.1 Free-running 训练过程4.2 Teacher-Forcing 训练过程五 Teacher Forcing的缺点及其解决办法5.1 Teacher Forcing的缺点5.2 集束搜索(Beam Search)...
Att-BiLSTM关系分类（2015）论文阅读笔记
zyk9916的博客
06-16 1559
Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification（Att-BiLSTM关系分类，2015）论文阅读笔记 一、背景 SVM（2010） CNN（2014） RNN（Zhang and Wang，2015）–长程依赖问题 SDP-LSTM（2015）–比较复杂 BLSTM（Zhang，2015）–使用了很多复杂特征 本文的贡献： 提出了基于注意力机制的BiLSTM网络用于关系分类，它
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值