【深度学习】梯度消失和梯度爆炸

梯度爆炸,梯度呈现指数级增长,导致参数值溢出。解决办法:对梯度进行修剪,例如发现梯度大于某阈值,就将梯度向量按最大值统一缩小。

梯度消失,

阅读更多
个人分类: 神经网络
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

【深度学习】梯度消失和梯度爆炸

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭