MultiHead-Attention和Masked-Attention的机制和原理

已于 2024-10-18 15:59:15 修改
阅读量2.7w 收藏 187
点赞数 123
分类专栏： 收费专栏 文章标签： 深度学习 人工智能
于 2022-07-18 19:13:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/125858248
版权

免费链接： Blogger(需翻Q)

文章目录

一、本文说明

看本文前，需要先彻底搞懂Self-Attention。推荐看我的另一篇博文层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理。本篇文章内容在上面这篇也有，可以一起看。

二. MultiHead Attention

2.1 MultiHead Attention理论讲解

在Transformer中使用的是MultiHead Attention，其实这玩意和Self Attention区别并不是很大。先明确以下几点，然后再开始讲解：

  1. MultiHead的head不管有几个，参数量都是一样的。并不是head多，参数就多。
  2. 当MultiHead的
了解本专栏 订阅专栏 解锁全文 超级会员免费看
层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
02-10 2万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
Transformer的前世今生 day07（Masked Self-Attention、Multi-Head Self-Attention）
丿罗小黑的博客
03-25 664
Masked Self-Attention 掩码自注意力 由于NLP中的生成模型，是一个一个的生成单词， 所以为了让自注意力也实现这个过程，就设计了掩码自注意力 掩码：在自注意力机制中，每个输入位置都会与其他位置进行注意力计算，并计算出一个加权和。而掩码的作用是将不相关或无效的位置的注意力权重设置为0，从而将模型的关注点限定在有效的位置上。如：将未来位置的注意力权重被设置为0，以防止模型在生成当前位置时依赖未来的信息，从而达到生成模型，一个一个生成单词的效果 如果只是自注意力机制，那么模型会知道这
深入理解深度学习——注意力机制（Attention Mechanism）：带掩码的多头注意力（Masked Multi-head Attention）
冯·诺依曼
06-13 1万+
模型的注意力机制应该只与该词之前的单词有关，而不是其后的单词。我们知道，自注意力机制将一个单词与句子中的所有单词联系起来，从而提取每个词的更多信息。[3] 车万翔, 崔一鸣, 郭江. 自然语言处理：基于预训练模型的方法[M]. 电子工业出版社, 2021.下面，让我们看看带掩码的多头注意力层是如何工作的。现在，我们可以将Softmax函数应用于前面的矩阵，并将结果与值矩阵。》中，我们为了运行自注意力机制，我们需要创建三个新矩阵，即查询矩阵。个注意力矩阵，将它们串联起来，并将结果乘以新的权重矩阵。
Transformer入门（7）掩蔽多头注意力Masked multi-head attention是什么？
weixin_xxxxx的博客
12-11 1222
在Transformer模型中，Masked Multi-Head Attention是一种特殊类型的注意力机制，它在某些场景下用于防止模型在训练过程中看到未来的信息。这在序列处理任务中尤为重要，尤其是在机器翻译、文本摘要和生成式对话系统等序列到序列（Seq2Seq）模型中。
Masked Attention 在 LLM 训练中的作用与原理
最新发布
Harry的博客
03-29 972
这篇文章将帮助你理解 Masked Attention 的作用、实现方式，以及为什么它能确保当前 token 只依赖于过去的 token，而不会泄露未来的信息。如果没有 Masked Attention，模型在训练时可以“偷看”未来的 token，导致它学到的规律无法泛化到推理阶段，从而影响文本生成的效果。虽然 Q, K, V 都计算了，但 Masking 让未来 token 的注意力分数变为 0，确保计算出的 Attention 结果不包含未来信息。，模型会学习到“作弊”策略，直接利用未来信息进行预测。
Multi-Head Attention详解
wangyifan123456zz的博客
02-29 3523
文中大部分内容以及图片来自：https://medium.com/@hunter-j-phillips/multi-head-attention-7924371d477a当使用 multi-head attention 时，通常d_key = d_value =（d_model / n_heads），其中n_heads是头的数量。研究人员称，通常使用平行注意层代替全尺寸性，因为该模型能够“关注来自不同位置的不同表示子空间的信息”。
Multihead Attention - 多头注意力
西小庄村高伟 的博客
11-02 7033
多头注意力的基本概念及实现
Multi-Head Attention的讲解
qq_41980734的博客
10-19 1万+
Multi-Head Attention的讲解 一、什么是 Attention Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是2014年google mind团队的这篇论文《Recurrent Models of Visual Attention》，他们在RNN模型上使用了attention机制来进行图像分类。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attenti
如何理解transformer中mask多头注意力机制 -masked multi-head attention 详解
Viviane_2022的博客
10-27 2811
编码器以并行模式工作 - 它可以在恒定数量的步骤内生成输入序列("I love you")的向量表示（步骤的数量不取决于输入序列的长度）。在训练期间，我们知道I love you翻译成德语，应该是"Ich liebe dich"（在训练期间我们总是知道期望的输出，也就是监督学习）。假设编码器生成了向量表示为11、12、13（分别代表I love you，实际上，这些向量会更长，因为我们忽略了其它标记，如-序列的开始、-序列的结束等），但为简单起见，我们使用了短向量。当执行 #C 时，它会隐藏第3个输出。
深度探索：机器学习中的多头注意力机制（Multi-Head Attention）原理及应用
qq_51320133的博客
04-29 1万+
多头注意力机制自提出以来，已经成为深度学习领域的一项革命性创新，特别是在自然语言处理领域，它推动了Transformer架构的兴起，彻底改变了这一领域的技术格局。其核心优势在于强大的序列信息处理能力、高效的并行计算以及对复杂依赖关系的精确捕捉，使得模型能够学习到更加细腻和丰富的特征表示。 展望未来，多头注意力机制的研究方向将更加多元： 理论探索：进一步研究多头注意力的内在机制，提升其可解释性，理解每个头的特异性和作用，为模型设计提供理论指导。 效率优化：随着模型规模的不断扩大，如何在保持性能的同时，降低
【深度学习】Transformer之Masked Multi-Head Attention
qq_50857066的博客
02-03 1802
对应着上面的a和b。
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
手撕MultiHead-Attention代码
weixin_45850570的博客
09-09 242
【代码】手撕多头Self-attention代码。
Attention，Multi-head Attention--注意力，多头注意力详解
热门推荐
m0_46614636的博客
03-26 4万+
Attention 首先谈一谈attention。 注意力函数其实就是把一个query，一个key-value的集合映射成一个输出。 其中query，key，value，output（Attention Value）都是向量。 输出是values的加权求和，是query与当前key的相关程度。 Attention 函数的本质可以被描述为： 一个查询（query）到一个系列（键key-值value）对的映射。 例如：计算A与B的attention，就是用A的Q与B的K-V来计算。 Scaled Do
Attention-mask 在transformer模型框架中的作用
li1784506的博客
11-19 7130
注意力机制的解释性博客比较多质量良莠不齐，推荐大家观看李宏毅老师关于注意力机制的讲解视频以及本人觉得对注意力机制讲解比较透彻的一篇博客[为更好解读注意力机制中attention-mask 的作用，现将注意力机制的原理进行总结。假设两个输入经过Wq、Wk、Wv矩阵（可训练）线性变换后获得q1=(1,2),q2=(0,1)，k1=(1,0),k2=(0,1)，v1=(1,0),v2=(0,1)向量。注意力机制核心就是向量q与向量k点乘后获得相似性分数（一个标量)。同理 q2也与所有的k向量点乘获得。
Pytorch学习笔记：nn.MultiheadAttention——多头注意力机制
qq_50001789的博客
08-03 2554
功能：创建一个多头注意力模块，参考论文《attention is all you need》
注意力机制——Multi-Head Attention（MHA）
weixin_50752408的博客
03-16 1万+
对于一个给定的查询向量，MHA 会对键向量进行加权求和，权重由查询向量和键向量之间的相似度计算得到，然后将得到的加权和乘以值向量进行输出。在多头机制下，输入的序列数据会被分成多个头，每个头进行独立的计算，得到不同的输出。其中 Q, K, V 分别表示查询向量、键向量和值向量，ℎ 表示头的数量，headi​ 表示第 i 个头的输出，WO 是输出变换矩阵。其中 dk​ 是键向量的维度，softmax相似度进行归一化，将每个键向量的权重计算出来，然后将权重乘以值向量，最后进行加权求和得到注意力输出。
一篇搞懂多头注意力（Multi-Head Attention）
Code1994的博客
11-02 5075
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【AI大模型】一文彻底搞懂Transformer - 多头注意力（Multi-Head Attention）
bugyinyin的博客
01-27 1799
在深度学习中，多头注意力（Multi-Head Attention）是一种注意力机制。它是对传统注意力机制的一种改进，旨在通过分割输入特征为多个“头部”（head）并独立处理每个头部来提高模型的表达能力和学习能力。
multi-head masked self-attention
08-19
Multi-head masked self-attention是Transformer模型中的一种注意力机制。在这种机制中，输入序列中的每个位置都被当作查询来计算注意力权重，然后根据这些权重对所有位置进行加权求和以得到最终的表示。 Multi-head表示将注意力机制分为多个头部进行独立计算，每个头部都具有自己的参数。这样可以让模型同时关注不同位置和不同表示子空间的信息，提高了模型的表达能力和泛化能力。 Masked self-attention是在计算注意力权重时引入的一种掩码机制。通过在注意力计算中使用一个掩码矩阵，可以阻止模型关注当前位置之后的信息，从而保证模型在预测当前位置时只使用了之前的信息。这在解决序列生成任务中非常有用，例如语言模型或机器翻译。 因此，multi-head masked self-attention是一种在Transformer中使用的注意力机制，它允许模型同时关注不同位置和不同表示子空间的信息，并通过掩码机制保证模型在预测时只使用了之前的信息。这种机制在提高模型表达能力和解决序列生成任务中起到了重要作用。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理](https://blog.csdn.net/zhaohongfei_358/article/details/122861751)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值