[深度学习基础知识]优化器 optimizer 加速神经网络训练
本片内容引自莫烦Python常用的优化器有SGDMomentumAdaGradRMSPropAdamSGD下图是不使用优化器情况下,所有的数据直接抛给卷积神经网络去计算,这样会带来巨大的运算量。所以我们提出了SGD的方式,将DATA分成一批一批的数据喂入网络,加速了神经网络的训练。Momentum传统的学习方式,W减去学习率成一个校正值,这种方法如下图一样,曲曲折折最终才能到达最优点。我们提出Momentum对传统的方式进行改变,使其能平滑的即更快速的到达最优点。AdaGr
原创
2021-11-20 10:15:00 ·
1443 阅读 ·
0 评论