深度学习防止梯度消失与梯度爆炸的几种方法
深度学习防止梯度消失与梯度爆炸的几种方法一:梯度剪切、正则二:Relu、Leakrelu、Elu等激活函数三:batchnorm四:残差结构五:LSTM六:预训练加微调一:梯度剪切、正则梯度剪切这个方案主要是针对梯度爆炸提出的,其思想是设置一个梯度剪切阈值,然后更新梯度的时候,如果梯度超过这个阈值,那么就将其强制限制在这个范围之内。这可以防止梯度爆炸。pytorch中的实现:gradient clipping.optimizer.zero_grad() loss, hidden =
原创
2020-12-06 20:08:13 ·
7198 阅读 ·
2 评论