层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理

已于 2024-11-29 16:12:09 修改
阅读量2.4w 收藏 597
点赞数 210
分类专栏： 收费专栏 文章标签： 深度学习 自然语言处理 人工智能
于 2022-02-10 22:17:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/122861751
版权

免费链接： Blogger(需翻Q)

文章目录

本文内容

本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention

李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes
PPT链接见视频下方

通过本文的阅读，你可以获得以下知识：

  1. 什么是Self-Attention，为什么要用Self-Attention
  2. Self-Attention是如何做的
  3. Self-Attention是如何设计的
  4. Self-Attention公式的细节
  5. MultiHead Attention
  6. Masked Attention

一、Self-Attention

1.1. 为什么要使用Self-Atten

了解本专栏 订阅专栏 解锁全文 超级会员免费看
MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
07-18 2万+
二. MultiHead Attention 2.1 MultiHead Attention理论讲解 2.2. Pytorch实现MultiHead Attention 三. Masked Attention 3.1 为什么要使用Mask掩码 3.2 如何进行mask掩码 3.3 为什么是负无穷而不是0
【深度学习】Transformer之Masked Multi-Head Attention
qq_50857066的博客
02-03 1819
对应着上面的a和b。
Masked Attention 在 LLM 训练中的作用与原理
最新发布
Harry的博客
03-29 1104
这篇文章将帮助你理解 Masked Attention 的作用、实现方式，以及为什么它能确保当前 token 只依赖于过去的 token，而不会泄露未来的信息。如果没有 Masked Attention，模型在训练时可以“偷看”未来的 token，导致它学到的规律无法泛化到推理阶段，从而影响文本生成的效果。虽然 Q, K, V 都计算了，但 Masking 让未来 token 的注意力分数变为 0，确保计算出的 Attention 结果不包含未来信息。，模型会学习到“作弊”策略，直接利用未来信息进行预测。
Self -Attention、Multi-Head Attention、Cross-Attention
热门推荐
大鹏的专栏
11-24 6万+
Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
Multihead Attention - 多头注意力
西小庄村高伟 的博客
11-02 7049
多头注意力的基本概念及实现
Transformer 中self-attention以及mask操作的原理以及代码解析
yeziyezi210的博客
01-08 4万+
笔者最近在梳理自然语言与训练模型的有关内容。在看到Bert的时候，突然发现Bert之后的预训练模型都与Transformer结构有关。该结构的一个为人所知的重点是self-attention，但是其另外一个重点mask操作却被人了解的很少，笔者借鉴了其他博主的优质内容，加上自己的理解整理了一下，希望从原理以及代码的角度来学习一下这两个知识点。 ** self-attention ** Self-a...
Transformer自注意力机制（Self-Attention）模型
Jeremy程序员
07-06 2万+
自注意力机制是现代自然语言处理模型（如Transformer）的核心，具有处理并行化、捕捉长距离依赖和灵活性强等优点。通过多头注意力机制，自注意力模型能够有效地捕捉序列中的多种特征，广泛应用于机器翻译、文本生成、文本分类和问答系统等任务。
multi-head masked self-attention
08-19
- *1* *2* *3* [层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理](https://blog.csdn.net/zhaohongfei_358/article/details/122861751)[target="_blank" data-report-...
BERT原理详解
06-18
每个编码器层包含两个主要部分：多头自注意力（Multihead Self-Attention）和前馈神经网络（Feed-Forward Network），这两个部分之间插入了残差连接和层归一化。 #### 1. 多头自注意力 多头自注意力机制允许模型...
Attention-mask 在transformer模型框架中的作用
li1784506的博客
11-19 7317
注意力机制的解释性博客比较多质量良莠不齐，推荐大家观看李宏毅老师关于注意力机制的讲解视频以及本人觉得对注意力机制讲解比较透彻的一篇博客[为更好解读注意力机制中attention-mask 的作用，现将注意力机制的原理进行总结。假设两个输入经过Wq、Wk、Wv矩阵（可训练）线性变换后获得q1=(1,2),q2=(0,1)，k1=(1,0),k2=(0,1)，v1=(1,0),v2=(0,1)向量。注意力机制核心就是向量q与向量k点乘后获得相似性分数（一个标量)。同理 q2也与所有的k向量点乘获得。
多头注意力机制Multi-head-attention
ZhengrongYue的博客
10-08 793
多头注意力机制Multi-head-attention
深入理解深度学习——注意力机制（Attention Mechanism）：带掩码的多头注意力（Masked Multi-head Attention）
冯·诺依曼
06-13 1万+
模型的注意力机制应该只与该词之前的单词有关，而不是其后的单词。我们知道，自注意力机制将一个单词与句子中的所有单词联系起来，从而提取每个词的更多信息。[3] 车万翔, 崔一鸣, 郭江. 自然语言处理：基于预训练模型的方法[M]. 电子工业出版社, 2021.下面，让我们看看带掩码的多头注意力层是如何工作的。现在，我们可以将Softmax函数应用于前面的矩阵，并将结果与值矩阵。》中，我们为了运行自注意力机制，我们需要创建三个新矩阵，即查询矩阵。个注意力矩阵，将它们串联起来，并将结果乘以新的权重矩阵。
Transformer入门（7）掩蔽多头注意力Masked multi-head attention是什么？
weixin_xxxxx的博客
12-11 1315
在Transformer模型中，Masked Multi-Head Attention是一种特殊类型的注意力机制，它在某些场景下用于防止模型在训练过程中看到未来的信息。这在序列处理任务中尤为重要，尤其是在机器翻译、文本摘要和生成式对话系统等序列到序列（Seq2Seq）模型中。
多头注意力机制（Multi-Head Attention）
帆的博客
06-23 2144
多头注意力机制的引入是为了增强模型的能力，使其能够从不同的角度关注输入序列的不同部分，从而捕捉更多层次的信息。其中 (i) 表示第 (i) 个头，(\mathbf{W}_i^Q, \mathbf{W}_i^K, \mathbf{W}_i^V) 是线性变换矩阵。如果有 (h) 个头，每个头的输出维度是 (d_k)，则连接后的维度为 (h \times d_k = d_{model})。假设输入的维度是 (d_{model})，头的数量是 (h)，每个头的维度是 (d_k = d_{model} / h)。
注意力机制——Multi-Head Attention（MHA）
weixin_50752408的博客
03-16 1万+
对于一个给定的查询向量，MHA 会对键向量进行加权求和，权重由查询向量和键向量之间的相似度计算得到，然后将得到的加权和乘以值向量进行输出。在多头机制下，输入的序列数据会被分成多个头，每个头进行独立的计算，得到不同的输出。其中 Q, K, V 分别表示查询向量、键向量和值向量，ℎ 表示头的数量，headi​ 表示第 i 个头的输出，WO 是输出变换矩阵。其中 dk​ 是键向量的维度，softmax相似度进行归一化，将每个键向量的权重计算出来，然后将权重乘以值向量，最后进行加权求和得到注意力输出。
深入理解深度学习——注意力机制（Attention Mechanism）：多头注意力（Multi-head Attention）
冯·诺依曼
06-09 1万+
为此，与其只使用单独一个注意力汇聚， 我们可以用独立学习得到的组不同的 线性投影（Linear Projections）来变换查询、键和值。然后，这组变换后的查询、键和值将并行地送到注意力汇聚中。最后，将这个注意力汇聚的输出拼接在一起， 并且通过另一个可以学习的线性投影进行变换， 以产生最终输出。在实践中，当给定相同的查询、键和值的集合时，我们希望模型可以基于相同的注意力机制学习到不同的行为， 然后将不同的行为作为知识组合起来， 捕获序列内各种范围的依赖关系 （例如，短距离依赖和长距离依赖关系）。
Multi-Head Attention详解
wangyifan123456zz的博客
02-29 3553
文中大部分内容以及图片来自：https://medium.com/@hunter-j-phillips/multi-head-attention-7924371d477a当使用 multi-head attention 时，通常d_key = d_value =（d_model / n_heads），其中n_heads是头的数量。研究人员称，通常使用平行注意层代替全尺寸性，因为该模型能够“关注来自不同位置的不同表示子空间的信息”。
[笔记.AI]多头自注意力机制（Multi-Head Attention）
:: Dotnet Fantasy ::
03-22 1177
多头自注意力最初由Vaswani等人在2017年的论文“Attention Is All You Need”中提出，标志着Transformer模型的诞生。该机制扩展了自注意力，允许模型通过多个并行“头”同时关注输入序列的不同部分。每个头可以学习捕获不同类型的依赖关系，例如短距离的语法结构或长距离的语义关联。根据的内容，多头注意力模块运行注意力机制多次，输出被连接并线性变换。直观上，多个头允许模型以不同方式关注序列部分，例如长距离依赖与短距离依赖。
评论 52
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值