soft / hard attention 机制 理解——机器学习中的soft 和 hard

最新推荐文章于 2023-04-14 23:37:29 发布
最新推荐文章于 2023-04-14 23:37:29 发布
阅读量2.6k 收藏 3
点赞数 4
分类专栏： 深度学习 NLP 文章标签： 人工智能 深度学习 nlp 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhr1030635594/article/details/106200401
版权

Soft attention是一种全局的attention，其中权重被softly地放在源图像所有区域

Hard attention一次关注图像的一个区域，采用0-1编码，时间花费较少，但是不可微分，所以需要更复杂的技术来进行训练

 

下图是从果壳网（quora）摘取的一篇回答

即在机器学习中soft 常常表示可微分，比如sigmoid和softmax机制

而hard常常表示不可微分

 

soft hard attention机制是在图像生成标题任务中被提出的，其原始任务如下：

上面是soft 下面是hard，我们可以看到，soft的权重是每次被放置在整张图像上，注重强调的部分（越白）的数值越接近1，越黑越接近0

下面的一排非黑即白，白色区域为1，黑色区域为0

东都大白兔
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文搞懂深度学习的注意力机制 | 软和硬到底如何抉择？
YOLOv8项目贡献者
04-28 3430
大白话解析注意力机制
EDA/PLD中的Hard/Soft协调设计EDA工具
12-09
分类 产品名 制造商 Hard/Soft协调设计工具 Cierto VCC Environment 美国Cadence Design Systems公司 ArchGen 美国CAE Plus公司 eArchitect 美国Viewlogic Systems公司 Hard/Soft协调验证工具 SeamlessCVE 美国...
注意力机制的分类 | Soft Attention和Hard Attention
Ftwhale的博客
08-10 9284
在前面两节的内容中我们已经介绍了注意力机制的实现原理，在这节内容中我们讲一讲有关于注意力机制的几个变种： Soft Attention和Hard Attention 我们常用的Attention即为Soft Attention，每个权重取值范围为[0,1] 对于Hard Attention来说，每个key的注意力只会取0或者1，也就是说我们只会令某几个特定的key有注意力，且权重均为1。 Global Attention和Local Attention 一般不特殊说明的话，我们采用的Attention都是G
Attention机制论文阅读——Soft和Hard Attention
nbawj的博客
06-03 1万+
论文：Show, Attend and Tell: Neural Image CaptionGeneration with Visual Attention提出了attention-based model的变种：Stochastic "Hard" Attention和Deterministic "Soft" Attention相同的框架：1、编码器：卷积神经网络提取特征：2、解码器：LSTM网络S...
NLP-2015：Attention机制用于CV领域【Attention机制：Hard Attention、Soft Attention】
u013250861的博客
02-06 398
《原始论文：Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》参考资料： 论文笔记 - Show, Attend and Tell: Neural Image Caption Generation with Visual Attention
soft Attention 和Hard Attention
热门推荐
ccbrid的博客
03-28 2万+
以下内容摘自：https://zhuanlan.zhihu.com/p/31547842   1.attention的提出： 把输入X编码成一个固定的长度，对于句子中每个词都赋予相同的权重，这样是不合理的，没有区分度往往使模型性能下降。因此提出Attention Mechanism（注意力机制），用于对输入X的不同部分赋予不同的权重，进而实现软区分的目的。 Kelvin Xu等人与2015年发...
详解git reset --hard 和 git reset --soft区别
10-15
本文将详细讲解`git reset --hard`和`git reset --soft`的区别，以及它们的具体用法。 `git reset`命令主要用于将HEAD指针移动到指定的提交上，它可以改变历史记录，但要注意这可能会导致未保存的工作丢失。`--hard...
soft2hard.zip_algorithms_hard decision_soft decision
07-15
Soft decision to hard decision conversion for communication receiver algorithms
Archive.zip_SUM_Soft!_hard svm_soft margin svm_svm hard
07-14
标题中的"Archive.zip_SUM_Soft!_hard svm_soft margin svm_svm hard"表明这是一个关于支持向量机（Support Vector Machine, SVM）的压缩包文件，其中...对于理解和掌握SVM这一机器学习工具，这些资源将非常有价值。
sopt-soft.rar_Soft!_图形/文字识别
07-13
本程序是采用维特比算法的软输入软输出的仿真程序
注意力机制
m0_46902739的博客
04-14 3001
基本定义：由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案一般还是用软性注意力机制来处理神经网络的问题。soft attention：在encoder中每一个输出都会计算一个概率hard attention：encoder中只寻找需要的那个计算概率。
各类注意力机制的介绍 (Intra & Inter & Soft & Hard & Global & Local Attention)
夏树让的博客
09-06 6295
注意力机制（Attention Mechanisms），intra-attention 与 inter-attention，soft-attention 与 hard-attention，global-attention 与 local attention.
Attention 机制 -- 基础篇
zhang2010hao的博客
11-06 397
Attention 机制 – 基础篇 Hard vs Soft [1] Attention首先分为两大类：Hard Attention 与 Soft Attention， 两者的区别在于 Hard Attention 关注一个很小的区域，而soft Attention 关注的相对要发散。 举个机器翻译方面的例子： 我是小明 --> I am XiaoMing 对于 Hard At...
soft-attention--学习笔记
oneself的博客
10-11 1427
soft-attention--学习笔记
soft attention、hard attention、 local attention结构
鲨鱼儿的博客
08-19 1万+
1、attention 理解方式 理解 ： key 与 query生成权重 α ，α 与value 生成 attention value 注意：在tensorflow中 seq2seq + attention 的 attention 的 key 与 value 是相同的，都是解码器的输...
注意力Attention之学习总结
zephyr_wang的博客
05-12 931
1. Attention 介绍 目前绝大多数文献中出现的attention模型是附着在Encoder-Decoder框架下的，当然，其实attention模型可以看作一种通用的思想，本身并不依赖于Encoder-Decoder模型。 本文首先讲解了Encoder-Decoder模型，接着讲解了带有注意力的Encoder-Decoder模型，最后更一般的陈述了attention模型理念。 第二部分简单描述了几种不同的attention分类，包括soft attention、hard attention、glo
【论文笔记】Attention总结二：Attention本质思想 + Hard/Soft/Global/Local形式Attention
changreal的博客
10-12 3610
Attention总结二： 涉及论文： Show, Attend and Tell: Neural Image Caption Generation with Visual Attentio（用了hard\soft attention attention） Effective Approaches to Attention-based Neural Machine Translation（提出...
Attention机制原理总结和应用(一)
hei653779919的博客
12-11 1516
Attention机制原理总结和应用(一) 1、attention机制的概述和常用attention类型 注意力机制(attention)是借鉴于人类的视觉选择性的一种机制。这种机制通过对于全局的扫描，将人类的注意力着重分配在重点的区域。在计算机科学中，这种机制通过权重分配的方式进行实现。对于attention机制，常见的类型包括以下几种 1. soft-attention机制 3. globa...
soft / hard的参数设置
最新发布
06-01
在 Linux 中，可以通过 ulimit 命令来设置 soft 和 hard 文件数限制的参数。ulimit 命令的语法如下： ``` ulimit [-H | -S] [-a | -c | -d | -f | -n | -s | -t | -v] [value] ``` 其中，-H 和 -S 参数分别表示修改 hard 和 soft 文件数限制参数，-a 参数表示显示所有限制参数，其他参数分别表示对应的限制参数。value 参数表示新的限制值，如果省略该参数，则表示仅显示当前限制值。 下面是常用的 soft 和 hard 文件数限制参数及其含义： - -n：表示最大打开文件数限制，即系统中同时打开的文件数量限制； - -u：表示最大用户进程数限制，即每个用户可以同时启动的进程数量限制； - -c：表示最大核心转储文件大小限制，即单个进程可以生成的 core 文件大小限制； - -d：表示最大数据段大小限制，即单个进程的数据段大小限制； - -f：表示最大文件大小限制，即单个文件的大小限制； - -s：表示最大堆栈大小限制，即单个进程的堆栈大小限制； - -t：表示最大 CPU 时间限制，即单个进程可以执行的 CPU 时间限制； - -v：表示最大虚拟内存大小限制，即单个进程可以使用的虚拟内存大小限制。 soft 和 hard 文件数限制参数的默认值通常是相同的，可以通过 ulimit -a 命令查看当前系统中的限制参数设置。要修改限制参数的值，可以使用 ulimit 命令加上相应的参数和新的限制值，例如： ``` ulimit -n 10000 ``` 该命令将系统中同时打开的文件数量限制设置为 10000，这个设置仅在当前 shell 环境中生效。如果要永久修改限制参数的值，可以将其添加到系统配置文件中，例如 /etc/security/limits.conf 文件。需要注意的是，修改限制参数的值可能会影响系统的性能和稳定性，因此需要谨慎操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值