浅析Batch Normalization

最新推荐文章于 2021-05-09 15:27:41 发布
最新推荐文章于 2021-05-09 15:27:41 发布
阅读量3.3k 收藏 2
点赞数 3
分类专栏： 深度学习 深度学习 文章标签： 批归一化 batch normalization
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzc15806/article/details/86022593
版权
本文探讨了深度神经网络训练的挑战，特别是由于多层叠加导致的输入分布变化。Batch Normalization通过标准化每批次数据，将其转化为标准分布，解决这一问题。尽管规范化可能限制模型的表达能力，但通过可学习的γ和β参数，模型仍能保持充分的表达力，提高训练速度并提升性能。在主流框架如TensorFlow、Keras和Pytorch中，Batch Normalization都有内置支持。
摘要由CSDN通过智能技术生成

深度神经网络难训练

一个重要的原因就是深度神经网络涉及很多层的叠加，每一层的参数变化都会导致下一层输入数据分布的变化，随着层数的增加，高层输入数据分布变化会非常剧烈，这就使得高层需要不断适应低层的参数更新。为了训练好模型，我们需要谨慎初始化网络权重，调整学习率等。

原理分析

为了解决这个问题，一个比较直接的想法就是对每层输入数据都进行标准化。Batch Normalization确实就是这样做的。Batch Normalization的基本思想就是：将每一批次数据输入下一层神经元之前，先对其做平移和伸缩变换，将输入数据的分布规范为固定区间范围内的标准分布。Batch Normalization的公式表示如下：

\hat{x_i}=\frac{x_i-\mu_B}{\sigma_B}

y_i=\gamma \hat{x_i}+\beta

这时我们可能会有些疑问，第一步不是已经得到标准化分布了吗，为什么还要再使用第二步变回去呢？ 

答案是：为了保证模型的表达能力，第二步是必不可少的。

我们发现，第一步将每一层的输入数据都规范化为均值为0，标准差为1的分布。那么我们仔细想一下，这样做会带来什么问题ÿ

最低0.47元/天 解锁文章
z小白
关注
专栏目录
PyTorch笔记9-Batch Normalization
u014532743的博客
11-06 2万+
本系列笔记为莫烦PyTorch视频教程笔记 github源码 reference1: 网易吴恩达 DL 课程 reference2: 知乎关于 BN 讨论 概要我们知道 normalize input（归一化输入）可以加速神经网络的训练，那我们是否可以 normalize activation function 并 speed up 网络训练呢，这就是 Batch Normaliz
解读Batch Normalization
shuzfan的专栏
02-23 3万+
目录 目录 1-Motivation 2-Normalization via Mini-Batch Statistics 测试 BN before or after Activation 3-Experiments本次所讲的内容为Batch Normalization，简称BN，来源于《Batch Normalization: Accelerating Deep Network Training b
BN(Batch Normalization) 原理与使用过程详解
donkey_1993的博客
08-20 8万+
论文名字：Batch Normalization: Accelerating Deep Network Training by  Reducing Internal Covariate Shift 论文地址：https://arxiv.org/abs/1502.03167       BN被广泛应用于深度学习的各个地方，由于在实习过程中需要修改网络，修改的网络在训练过程中无法收敛，就添加了BN...
深度学习（二十九）Batch Normalization 学习笔记
热门推荐
hjimce的专栏
03-12 28万+
近年来深度学习捷报连连，声名鹊起，随机梯度下架成了训练深度网络的主流方法。尽管随机梯度下降法，将对于训练深度网络，简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化等，这些参数的选择对我们的训练至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的去调整学习率这些参数。就像什么激活函数层、卷积层、全连接层一样，
深度学习中的数学与技巧(3)：从Bayesian角度浅析Batch Normalization
Focusing on your own Mind :) －> 站在巨人的肩膀上
10-19 1543
前置阅读：http://blog.csdn.net/happynear/article/details/44238541——Batch Norm阅读笔记与实现 前置阅读：http://www.zhihu.com/question/38102762——知乎网友 Deep Learning与Bayesian Learning在很多情况下是相通的，随着Deep Learning理论的
从Bayesian角度浅析Batch Normalization
weixin_33950035的博客
02-24 136
前置阅读：http://blog.csdn.net/happynear/article/details/44238541——Batch Norm阅读笔记与实现 前置阅读：http://www.zhihu.com/question/38102762——知乎网友 Deep Learning与Bayesian Learning在很多情况下是相通的，随着Deep Learning理论的发展， 我们看...
Batch Normalization浅析
u012526436的博客
03-01 850
转载请注明出处，原文地址 背景 自从2012年以来，CNN网络模型取得了非常大的进步，而这些进步的推动条件往往就是模型深度的增加。从AlexNet的几层，到VGG和GoogleNet的十几层，甚至到ResNet的上百层，网络模型不断加深，取得的效果也越来越好，然而网络越深往往就越难以训练。我们知道，CNN网络在训练的过程中，前一层的参数变化影响着后面层的变化，而且这种影响会随着网络深度的增加而不断...
语音识别-Batch Normalization浅析
chenxi910911的博客
10-11 321
文章：http://proceedings.mlr.press/v37/ioffe15.pdf 中心思想：通过控制参数的变化范围加速模型的训练 背景：由于神经网络的每层参数在训练过程中都是在随时变化的，这就要求模型在训练过程中需要一个很好的参数初始化、较小的学习率来调整模型的参数，并且模型训练过程中需要保持原有的非线性特性，这就使得深度神经网络的训练很慢、很困难，称这种现象为internal co...
关于Batch Normalization
zz2230633069的博客
07-03 1067
参考相关文档：关于BN的讲解论文来自于下面的第二个 [深度学习中 Batch Normalization为什么效果好？] [《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记与实现] [从Bayesian角度浅析Batch Normalization...
训练时第二个step loss特别大_浅析深度学习中Batch Size大小对训练过程的影响
weixin_39624606的博客
11-21 1182
之前面试过程中被问到过两个问题： （1）深度学习中batch size的大小对训练过程的影响是什么样的？ （2）有些时候不可避免地要用超大batch，比如人脸识别，可能每个batch要有几万甚至几十万张人脸图像，训练过程中超大batch有什么优缺点，如何尽可能地避免超大batch带来的负面影响？-------------------------------面试版回答----------...
[模型浅析] Swin Transformer源码阅读
weixin_41625823的博客
05-09 3061
[模型浅析] Swin Transformer源码阅读 写在最前面 本文主要是本人在研究Siwn Transformer过程中的记录，所以可读性并不是很好，推荐对照完整的源码进行理解。由于这是本人第一次细致研究Transformer，所以除了对Swin中Shift window循环位移的实现方法做了比较详细的分析，还着重分析了一下对相对位置编码的实现，希望能对读者有所帮助。此外，文中若有错误还请各位不吝赐教。 完整源码github 源代码函数与论文中模块的对应 网络的实例化 分析以论文中最轻量的模型（Sw
AlphaGo Zero原理浅析
m0_37600149的博客
11-18 4958
AlphaGo Zero 论文:《Mastering the game of Go without human knowledge》 AlphaGo与AlphaGo Zero主要有以下几点不同： - AlphaGo中用了３个policy network,AlphaGo Zero只用了一个reinforcement learning network - AlphaGo Zero将po
CNN浅析和历年ImageNet冠军模型解析
qq_44906416的博客
04-13 417
CNN浅析和历年ImageNet冠军模型解析
Keras学习率调整
z小白的博客
03-27 7万+
Keras提供两种学习率适应方法，可通过回调函数实现。 1. LearningRateScheduler keras.callbacks.LearningRateScheduler(schedule) 该回调函数是学习率调度器. 参数 schedule：函数，该函数以epoch号为参数（从0算起的整数），返回一个新学习率（浮点数） 代码 import keras.backend a...
【深度学习】分类指标accuracy，recall，precision等的区别
z小白的博客
10-26 5万+
在机器学习里面做一些分类任务时，经常会使用到一些评价指标，下面就一些常用的指标进行详细的说明。 上图表示为一个二分类的混淆矩阵（多分类同理，只需要把不属于当前类的其他类都考虑为负例），表格中的四个参数说明： True Positive（TP）：预测为正例，实际为正例 False Positive（FP）：预测为正例，实际为负例 True Negative（TN）：预测为负例，实际为负例...
【深度学习】ResNet解读及代码实现
z小白的博客
10-30 4万+
简介 ResNet是何凯明大神在2015年提出的一种网络结构，获得了ILSVRC-2015分类任务的第一名，同时在ImageNet detection，ImageNet localization，COCO detection和COCO segmentation等任务中均获得了第一名，在当时可谓是轰动一时。 ResNet又名残差神经网络，指的是在传统卷积神经网络中加入残差学习（residual ...
Ubuntu16.04下安装PyTorch（Anaconda3+pycharm+pytorch+GPU）
z小白的博客
08-14 3万+
TensorFlow 安装教程： GPU：https://blog.csdn.net/zzc15806/article/details/80652749 CPU：https://blog.csdn.net/zzc15806/article/details/73662491 一、安装显卡驱动 将NVIDIA驱动更改如下：   二、安装CUDA 8.0 2.1 下载 下载地址：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值