![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
deep learning
风花雪夜007
这个作者很懒,什么都没留下…
展开
-
TensorFlow中的非饱和 激活函数(Nonsaturating Activation Functions)
不幸的是,ReLU激活函数也不是完美的。它会遭遇到一个熟知的问题(dying ReLUs):在训练过程中,一些神经元实际上已经死亡了,意味着它们只是输出0.在有些实例里,你会发现网络中一半的神经元已经失活了,特别是在当你使用较大的学习率的时候。如果一个神经元的权值更新如更新的权值与输入计算得到的输出是负值,这个神经元将会输出0,。 当这种现象发生时,这个神经元不太可能再起效果,因为当Relu...翻译 2018-07-26 16:28:39 · 3225 阅读 · 0 评论 -
TensorFlow 中的正则化(Batch Normalization)详解和实现代码
虽然在训练初期使用 He 初始化方法初始ELU(或者其他派生的ReLU)能够有效的防止梯度弥散、爆炸问题。但是这种方式无法保证梯度问题不会在训练过程中产生。 2015年的一篇paper( “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate S...翻译 2018-08-01 11:53:30 · 2789 阅读 · 0 评论