RMSProp均方根反向传播法

RMSProp

RMSProp通过引入一个衰减系数，让r每回合都衰减一定比例，类似于Momentum中的做法。

具体实现: 
需要:全局学习速率 ϵ, 初始参数 θ, 数值稳定量δ，衰减速率ρ
中间变量: 梯度累计量r(初始化为0) 
每步迭代过程: 
1. 从训练集中的随机抽取一批容量为m的样本{x1,…,xm},以及相关的输出yi
2. 计算梯度和误差,更新r,再根据r和梯度计算参数更新量 

     

优点： 

1. 相比于AdaGrad,这种方法很好的解决了深度学习中过早结束的问题 
2. 适合处理非平稳目标，对于RNN效果很好

缺点： 

1. 又引入了新的超参，衰减系数ρ
2. 依然依赖于全局学习速率