RMSProp
RMSProp通过引入一个衰减系数,让r每回合都衰减一定比例,类似于Momentum中的做法。
具体实现:
需要:全局学习速率 ϵ, 初始参数 θ, 数值稳定量δ,衰减速率ρ
中间变量: 梯度累计量r(初始化为0)
每步迭代过程:
1. 从训练集中的随机抽取一批容量为m的样本{x1,…,xm},以及相关的输出yi
2. 计算梯度和误差,更新r,再根据r和梯度计算参数更新量
优点:
- 相比于AdaGrad,这种方法很好的解决了深度学习中过早结束的问题
- 适合处理非平稳目标,对于RNN效果很好
缺点:
- 又引入了新的超参,衰减系数ρ
- 依然依赖于全局学习速率