学习笔记之Transformer Self-Attention机制

最新推荐文章于 2024-08-15 11:50:30 发布
最新推荐文章于 2024-08-15 11:50:30 发布
阅读量3.5k 收藏 8
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zqm_0015/article/details/103905125
版权

Transformer

台大李宏毅教授链接

Self-Attention

  • 传统RNN不容易平行化，比如b4就得知道a1，a2，a3，a4才能算出来

lRovCt.png

  • 使用CNN可以实现平行化，比如图中的一个黄三角形代表一个filter，他可以并行执行的。
    • 在更高层filter的layer可以获取到更长的信息，比如蓝三角形，它的输入时第一层的输出

lRTTGq.png

  • Self-Attention可以替代双向RNN
  • 可以并行计算
  • 能够获得一个整句的信息

lR7FsO.png

做 attention ： 吃两个向量，输出一个分数，代表它会有多匹配

最低0.47元/天 解锁文章
Challow
关注
专栏目录
Transformer入门（一）——结构
yeen123的博客
06-02 8650
Transformer入门介绍篇，分别介绍了Transformer的总体结构与每个模块的实现原理
transfomer中attention为什么要除以根号d_k
zwhdldz的博客
06-01 1373
得到矩阵 Q, K, V之后就可以计算出 Self-Attention 的输出了，计算的公式如下: Attention(Q,K,V)=Softmax(QKTdk)V Attention(Q,K,V)=Softmax(\frac{QK^T}{\sqrt{d_k}})V Attention(Q,K,V)=Softmax(dk​​QKT​)V除以维度的开方,可以将数据向0方向集中,使得经过softmax后的梯度更大. 从数学上分析,可以使得QK的分布和Q/K保持一致,对于两个独立的正态分布而言，两者的加法的期望和
庖丁解牛Transformer原理
Hunter_pcx的博客
09-29 745
近年来Transformer不管是在NLP、CV、推荐等领域都有比较大的应用，短短4年左右的时间Attention Is All You Need 文章的引用量接近3万，其实Transformer原先是解决在sequence2sequeence任务中RNN的并行性差、CNN远距离依赖性弱的问题，本文主要从这篇文章出发解读Transformer的原理、作者为什么要这么设计网络结构。 一、网络整体架构 首先认识一下它的网络架构，然后再对它庖丁解牛。如图1所示，它是...
大模型面试快闪卡：必考问题快速掌握！
最新发布
2401_85343303的博客
08-15 959
简单来说，就是需要压缩softmax输入值，以免输入值过大，进入了softmax的饱和区，导致梯度值太小而难以训练。如果不对attention值进行scaling，也可以通过在参数初始化时将方差除以根号d ，同样可以起到预防softmax饱和的效果。1、如果Q和K一样，则矩阵乘积的结果是一个对称矩阵，这样减弱了模型的表达能力。2、如果Q和K一样，乘积结果的对称矩阵中，对角线的值会比较大，导致每个位置过分关注自己。3、使用不同的投影矩阵，参数增多，可以增强模型表达能力。
self-attention为什么要除以根号d_k
热门推荐
suibianshen2012的专栏
12-25 1万+
一、因为softmax的输入很大时，其梯度会变的很小，趋近于0； 二、除以根号Dk的目的就是使得，QK/Dk满足方差稳定到1，使得softmax的梯度不至于太小
Transformer 详解
凉意的博客
10-26 1602
transformer
transformer学习笔记：self-attention
weixin_48799576的博客
09-03 909
transformer学习笔记
从self-attention到Transformer之self-attention
weixin_42254244的博客
05-09 523
从self-attention到Transformer之self-attention 本文内容是本人学习李宏毅老师课程的笔记。在这里附上李宏毅老师的主页：https://speech.ee.ntu.edu.tw/~hylee/index.html 1. self-attention 想要解决一个Seq2Seq的问题，根据经验我们完全可以把整个序列的每一个向量都丢到一个fully-connected neural network中然后根据不同任务输出对应的输出，就像下图一样： 但是很明显这种结构显然有很大的
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5670
self-attention，transformer及变形
【Transformer】自注意力机制Self-Attention ｜ 各种网络归一化Normalization
RickieLim的博客
08-08 3486
Transformer是一个sequence-to-sequence。也就是input和output都是sequence。而output的sequence，可以是定长的，也可以是和input一样长的，也可能是我们不知道有多长的需要机器自己判别的。例如：语音辨识，声音讯号–>文本，这个场景下的output就是机器自己决定的。机器翻译同理。文本 & 声音讯号互转 案例：中文文字---->台语/闽南语点击精准空降。
self-attention中根号d的由来
weixin_41168869的博客
06-12 516
是相互独立的，则它们的乘积的期望等于各自的期望的乘积。这个性质在概率论和统计学中经常被用到。是独立的随机变量，因此它们的乘积的期望等于各自的期望的乘积。这是因为两个随机变量的乘积的期望等于各自的期望的乘积【注1】。个随机变量的线性组合。因此，根据线性组合的性质，个随机变量是独立的，
Transformer
邱邱的博客
05-20 2491
论文地址：https://arxiv.org/pdf/1706.03762.pdf 视频地址：https://www.bilibili.com/video/BV1pu411o7BE/?spm_id_from=333.788 2.摘要 卷积神将网络对较长的序列难以建模，因为他每次看一个比较小的窗口，如果两个像素隔得比较远，要用到很多层卷积才能把隔得很远的两个像素融合起来。但是用Transformer一层就能把整个序列看到。但是卷积有一个好处就是一个输出通道可以认为它可以识别不一样的模式，Transformer
Transformer学习笔记
Hacking to the gate.
02-24 661
1. 概述 不论从命名还是物理结构，都可以看出，Transformer是对Encoder-Decoder模型结构的继承与发展，用途上也依然以解决Seq2Seq问题为初衷。 2. 历史 2.1 Encoder-Decoder Encoder-Decoder模型其实泛指一类用于解决Seq2Seq问题的模型结构。 编解码器都不是固定的，常用的有CNN/RNN/BiRNN/GRU/LSTM等，可以根据...
transformer中softmax为什么除根号d_k
baidu_40840693的博客
09-08 1737
输入值不能太大，太大如下，梯度消失 import torch from torch import nn from torch.nn import functional as F import numpy as np #from torch.autograd import Variable #from torchvision.models import resnet50 #import torchvision.transforms as T #torch.set_grad_enabled(True) .
Transformer（multi-head attention）
Wywxring98的博客
12-15 1459
文章目录RNN CNN ATTself-attention（K/Q/V）Multi-head Attention顺序问题seq2seq with attentionTransformerTransformer的应用参考文献 RNN CNN ATT RNN ，用来解决seq2seq问题，适用于长序列，问题为难以平行化处理。 CNN，可以通过不同filter（卷积核）进行平行化处理，但是每个token关注的只是附近的token，难以关心长句子全局关系。 ATT， 有非常霸气的文章attention is all
大白话解释Transformer
qq_41687961的博客
04-10 1392
大白话解释TransformerTransformer 与 ‘seq2seq+attention’首先理解 *self-attention*multi-head & position-encoding 引入Transformer 模型 Transformer 与 ‘seq2seq+attention’ 核心是 self-attention，就是将2代的 encoder 和 decoder...
Transformer中的Self-attention机制深度解析
"本文将深入探讨Self-attention机制和Transformer架构，主要关注它们在机器学习，尤其是自然语言处理中的应用。Self-attention是一种创新的注意力机制，它允许模型在处理序列数据时，考虑每个元素与序列中所有其他...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值