【深度学习】RNN中Attention原理详解

最新推荐文章于 2024-07-29 10:16:23 发布
最新推荐文章于 2024-07-29 10:16:23 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zkq_1986/article/details/80622634
版权

Attention原理

在输出序列中，当前的输出与当前状态有关。

当前状态与前一步状态、前一步输出和当前所看到的上下文有关

当前所看到的上下文来自其所看到的输入的信息(对输入加工得到有用信息)的加权，这个加权就是所谓的Attention机制。也就是说之前所看到的信息需要区别对待。

输入信息的加权值，通过当前输入信息与前一步状态通过softmax计算得到。这个加权值的计算也是需要通过神经网络训练出来，因为它所属的分布很难得知，通过神经网络，可以避开这个问题。


参考文献：Bahdanau D, Cho K, Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate[J]. Computer Science, 2014.

zkq_1986
关注
专栏目录
在RNN模型中引入注意力机制（Attention）
白马负金羁
03-29 3032
将Seq2seq模型用于机器翻译时，一个明细的问题在于随着输入句子越来越长，更早输入的单词就很大可能会被忘掉。于是，随着输入句子中单词数变多，翻译质量就会很快劣化。改善此问题的一个方法就是引入注意力机制（Attention），本文由此展开解释Attention的基本原理...............
最适合入门的100个深度学习项目
CSDN 精品推荐
10-17 10万+
本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
Attention原理
zoe的博客
07-15 970
1 Attention 基本原理 神经网络中可以存储的信息量称为网络容量（Network Capacity）。一般来 讲，利用一组神经元来存储信息时，其存储容量和神经元的数量以及网络的复杂 度成正比。如果要存储越多的信息，神经元数量就要越多或者网络要越复杂，进 而导致神经网络的参数成倍地增加。 我们人脑的生物神经网络同样存在网络容量问题，人脑中的工作记忆大概 只有几...
Attention的原理和实现
weixin_42529756的博客
02-21 2841
Attention的原理和实现 目标 知道Attention的作用 知道Attention的实现机制 能够使用代码完成Attention代码的编写 1. Attention的介绍 在普通的RNN结构中，Encoder需要把一个句子转化为一个向量，然后在Decoder中使用，这就要求Encoder把源句子中所有的信息都包含进去，但是当句子长度过长的时候，这个要求就很难达到，或者说会产生瓶颈（比如，输入一篇文章等场长内容），当然我们可以使用更深的RNN和大多的单元来解决这个问题，但是这样的代价也很大。那么有
聊聊RNN与Attention
最新发布
2401_85327249的博客
07-29 486
Attention Mechanism，称为注意力机制。基于Attention机制，seq2seq可以像我们人类一样，将“注意力”集中在必要的信息上。
Attention原理详解
小小鸟要高飞
09-22 1万+
说到Attention可能大家想到的是最经典的Attention模型，实际上Attention有很多变种，Attention也有很多种计算方法，包括近来大火的self-attention也是Attention的一种，下面我会由浅到深的介绍各种Attention机制，希望能够帮助大家理解。 Attention是跟seq2seq模型一起用的，如果大家对seq2seq模型不了解的可以点击此链接了解其中的...
自然语言处理中的Attention Model：是什么及为什么
zdy0_2004的专栏
01-21 980
转自 张俊林        http://blog.csdn.net/malefactor/article/details/50550211 要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称AM模型）这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一，在很多场景被证明有效。听起来AM很高大上，其实它的基本思
Attention详解
weixin_44198288的博客
09-26 642
Attention详解
深度学习(Deep Learning) 原理与代码实例讲解
程序员光剑
07-13 986
深度学习(Deep Learning) - 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来
史上最小白之Attention详解
热门推荐
Tink1995的博客
03-24 10万+
1.前言 说到attention机制，那可真是太牛逼了。不会attention都不好意思说自己视深度学习从业者，那么今天我们就来一步一步剖析一下这近几年来最火的深度学习模型。 2.Encoder-Decoder 2.1Encoder-Decoder简介 Encoder-Decoder框架顾名思义也就是编码-解码框架，目前大部分attention模型都是依附于Encoder-Decoder框架进行实...
【PyTorch深度学习项目实战100例目录】项目详解 + 数据集 + 完整源码
CSDN 精品推荐
09-30 8万+
大家好，我是阿光。本专栏整理了《深度学习100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。正在更新中~ ✨。
attention讲解.ppt
08-27
attention机制的整理研究。主要是encoder,deconder,transorform
RNN条件生成与Attention
10-31
RNN条件生成与Attention介绍图像生成文本、Attation、机器翻译、RNN条件生成、RNN解决的问题等
模型汇总24 - 深度学习中Attention Mechanism详细介绍：原理、分类及应用 知乎
studyvcmfc的专栏
06-12 183
https://zhuanlan.zhihu.com/p/31547842
史上最直白之Attention详解（原理+代码）
weixin_44048622的博客
09-17 6659
Attention机制笔者认为是Transformer模型中最出彩的设计，本文希望可以更好的帮助大家理解Attention机制究竟是如何在模型中起作用的
关于Attention的超详细讲解
WGS.
05-08 1万+
文章目录一、动物的视觉注意力二、快速理解Attention思想三、从Encoder-Decoder框架中理解为什么要有Attention机制四、Attention思想步骤五、Self-Attention5.1 Self-Attention的计算步骤5.2 根据代码进一步理解Q、K、V5.3 再来一个例子理解六、缩放点积中为什么要除以根号dk6.1 为什么比较大的输入会使得softmax的梯度变得很小？6.2 维度与点积大小的关系是怎么样的，为什么使用维度的根号来放缩？七、Multi-Head Attenti
基本的Attention原理
konstantin的博客
03-18 561
基本的Attention原理 创建日期 星期一 18 三月 2019 注意力机制就是加权求和，将需要重点注意的地方设置大的权重，可以来解决rnn的局限问题； Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14]，他们在RNN...
Attention机制原理
junjunzai123的博客
01-07 2163
Attention机制原理 其实Attention 机制的工作原理并不复杂，我们可以用下面这张图做一个总结 一个 Attention 的计算过程有三步: 阶段一: query 和 key 进行相似度计算，得到一个query 和 key 相关性的分值 阶段二: 将这个分值进行归一化(softmax)，得到一个注意力的分布 阶段三: 使用注意力分布和 value 进行计算，得到一个融合注意力的更好的 value 值 为了更好的说明上面的情况, 我们通过注意力来做一个机器翻译(NMT) 的任务，机器
Attention原理简析
七月听雪的博客
08-10 835
Attention现在太火了，磨蹭了好几天，终于要动手写写了。。。。 https://mp.weixin.qq.com/s/MzHmvbwxFCaFjmMkjfjeSg https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html Attention的发展历史： Attention一般可以...
深度学习入门与核心技术详解
第二部分着重于最成熟的深度学习算法，包括卷积神经网络（CNN）、循环神经网络（RNN）以及深度信念网络（DBN）等。这部分内容详细阐述了如何利用这些算法处理图像、语音和序列数据，以及它们在诸如图像分类、自然...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值