batch normalization 为什么有效？

最新推荐文章于 2024-05-24 01:22:58 发布
最新推荐文章于 2024-05-24 01:22:58 发布
阅读量170 收藏
点赞数
分类专栏： 机器学习 文章标签： batch normal
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzzz_123123/article/details/103198376
版权

 

4.1 Normalization 的权重伸缩不变性

 

从两方面来看，

1、权重伸缩不变性可以有效地提高反向传播的效率。

      主要体现在对x求导。

2.权重伸缩不变性还具有参数正则化的效果，可以使用更高的学习率。

     主要体现在对w求导。

    意思是，如果某一次更新使得w变得很大，则lambada系数一定很大，那么梯度就减小了。在一定程度上体现了参数正则化，

    不让参数过度增长。

 

4.2 Normalization 的数据伸缩不变性

 

 

 

 

另一种角度看，

前面是两个求导之间对比，下面这个角度是针对自己求导进行观察

当W很小的时候，其标准差也大不了哪去，比如W为0.0001，它的标准差能有多大呢？

当W很大的时候，那么它的标准差就有可能很大了，至少比W0.0001的时候大吧。

所以限制梯度体现在这里

zzzz_123123
关注
专栏目录
为什么Batch Norm有效？
airliberal的博客
04-04 1319
最近思考得到的解答，将input进行norm标准化，等价于input进行了缩放，在进行反向传播修正时(以mini batch-SGD为例)，计算梯度时，不会出现梯度爆炸和消失（因为在这之前对input进行了norm）。同时batchsize的选取很有讲究，batch太小，计算出的梯度下降方向震荡，或是出现前后更新方向相抵消。导致难以学习，或者无法收敛。太大会导致下降方向无太大变化，求解最优解依赖于...
吴恩达深度学习笔记(53)-Batch Norm 为什么奏效
Harpoon_fly的博客
01-22 849
Batch Norm 为什么奏效？（Why does Batch Norm work?） 为什么Batch归一化会起作用呢？ 一个原因是，你已经看到如何归一化输入特征值x，使其均值为0，方差1. 它又是怎样加速学习的，有一些从0到1而不是从1到1000的特征值，通过归一化所有的输入特征值x，以获得类似范围的值，可以加速学习。 所以Batch归一化起的作用的原因，直观的一点就是，它在做类似的工作，但...
Batch Normalization为什么有效？
weixin_43750626的博客
09-08 307
BN的过程，原理解释，以及BN为什么有效？
理解Batch Normalization系列3——为什么有效及11个问题（清晰解释）
soplars的博客
01-15 686
Batch Normalization为什么有效，以及11个值得讨论的问题。...
3.6 Batch Norm 为什么奏效？
Claroja
02-12 200
什么是batch normalization?为什么有效？举例子详细说明
03-13
Batch normalization是一种神经网络中的正则化方法，它通过对每个batch的输入进行标准化，使得神经网络的训练更加稳定和快速。具体来说，它通过对每个batch的输入进行均值和方差的标准化，使得每个神经元的输入分布...
batch normalization怎么用呢？
04-08
Batch normalization 是一种常用的神经网络正则化方法，它用于在训练过程中减少内部协变量移位。一般而言，在每一个训练批次中，Batch normalization 会计算批次中的样本的均值和标准差，并将这些统计数据用于标准化...
Batch Normalization
12-17
Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch. Batch Normalization allows us to use much ...
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
在深度学习领域，Batch Normalization（批量归一化）和Layer Normalization（层归一化）是两种常用的技术，用于优化神经网络模型的训练过程。它们的主要目标是通过规范化网络层的输入，来减少内部协变量偏移，提高...
为什么batchnormalize 有效
luoganttcc的博客
07-16 158
论文链接 The popular belief is that this effectiveness stems from controlling the change of the layers’ input distributions during training to reduce the so-called“internal covariate shift”. In this work, we demonstrate that such distributionalstability of lay
为什么Batch Normalization那么有用？
qq_24477851的博客
03-04 302
参考：https://mp.weixin.qq.com/s/laj9ZFq29db3iykU9Y56Tg
为什么要做Batch Normalization
林宋的搬砖流水账
12-17 865
2015年的文章《Batch Normalization: Accelerating Deep Network Training by  Reducing Internal Covariate Shift》       简单说：BN就是将数据集转化成均值为0，方差为1的矩阵        因为每一层的输出都是一个比较小的数值，多层累积之后数值会非常小，（也可以理解成矩阵的偏移）在学习反传的时候...
Batchnorm的主要作用
最新发布
weixin_42605076的博客
05-24 656
Batchnorm的主要作用：BatchNorm能够使神经网络训练得更快更稳定。它通过调整每层网络输入的数据分布，使得网络的训练过程更高效。：BatchNorm减少了不同批次数据之间的差异，使得模型训练更加稳定，不容易出现梯度爆炸或梯度消失的问题。：使用BatchNorm，模型对初始权重设置不再那么敏感，即使初始权重设置不当，也不会严重影响训练效果。：BatchNorm在某种程度上具有类似于正则化的效果。因为它在训练过程中会引入一些噪声，从而减少模型的过拟合。
Batch Norm （针对面试问题总结）
bl128ve900的博客
07-10 4178
参考： 基础 | batchnorm原理及代码详解https://blog.csdn.net/qq_25737169/article/details/79048516 详解机器学习中的梯度消失、爆炸原因及其解决方法https://blog.csdn.net/qq_25737169/article/details/78847691 Pytorch Batch Normalizatin la...
Normalization Technique总结
热门推荐
yiyele的博客
08-06 3万+
1.相关介绍： 神经网络在多个领域取得了非凡的成就，例如，语音识别，图像识别等。所以，训练神经网络是个重要的任务，gradient descent常被用来寻来拿神经网络。但在网络比较深时，gradient descent容易出现梯度消失或梯度爆炸等现象。因此，在使用SGD算法对神经网络进行优化时，需要小心的对模型超参数进行微调，例如学习速率，模型参数的初始化等。神经网络的训练过程是很复杂的，每层.........
Batch Normalization 相关
QI_YUE710的博客
06-18 212
原文地址： https://arxiv.org/pdf/1502.03167.pdf Inception V2 在V1的基础上引入了Batch Normalization的操作。 为甚么引入 \gamma, \beta? 原文： Note that simply normalizing each input of a layer may change what the layer can represent. For instance, normalizing the inputs of a sigmoid
为什么要 Batch Normalization 批标准化 (深度学习)
weixin_44623752的博客
09-07 1049
为什么要 Batch Normalization 批标准化 (深度学习普通数据标准化每层都做标准化BN 添加位置BN 效果BN 算法 普通数据标准化 Batch Normalization, 批标准化, 和普通的数据标准化类似, 是将分散的数据统一的一种做法, 也是优化神经网络的一种方法. 在之前 Normalization 的简介视频中我们一提到, 具有统一规格的数据, 能让机器学习更容易学习到数据之中的规律. 每层都做标准化 在神经网络中, 数据分布对训练会产生影响. 比如某个神经元 x 的值为1,
Batch normalization分析
linyuanthocr的博客
10-06 265
Batch normalization分析 为简洁起见，下文中将batch normalization简写为BN 优点： BN使得训练过程中可以用更大的学习率，加速学习过程 网络引入BN之后，可以利用sigmoid函数，使得容易出现的梯度淹没问题得到了解决。 在此基础上出现了layer normalization和weighted normalization 缺点： 虽然技术成熟，但在实践过程中也很容易出现问题。BN过程虽然简单，但其真正有效的原因比看起来复杂（并不只是协变量位移那么简单）。 本文旨在描
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值