TensorFlow常用优化器性能对比，以及各自优缺点

首先说明，本文不深入研究优化器的内部数学原理，只给出最终的结论。

性能对比

TensorFlow中提供了如下的对的优化器：

tf.train.Optimizer
tf.train.GradientDescentOptimizer
tf.train.AdadeltaOptimizer
tf.train.AdagtadOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.RMSProOptimizer

这里我们挑几个常用的算法来讲解，那么他们几个的收敛速度比较快呢？请看下图：

观察图中我们发现：

• SGD随机梯度下降算法收敛的速度是最慢的；
• Adadelta收敛得速度是最快的；
• Momentum所走的路程是最远的，会冲出最低点

我们再来看看在马鞍型数据下，它们各自的表现又如何呢：

通过上图我们惊讶的发现随机梯度下降法SGD无法逃离马鞍形数据，其他算法都可以逃离，所以面对马鞍问题的时候，我们不能使用SGD优化器。

总结

看了上面的结论，那么以后我们该如何选择优化器呢？是不是因为随机梯度下降法优化器以后就不能用了呢？答案不是的！
我们应该要根据实际的需要，如果需要收敛速度快，就用Adadelta；面对马鞍问题就避免使用SGD优化器；哪个优化器更有利于机器学习就用哪个优化器。

结束线/

欢迎大家加入Q群讨论：463255841

结束线/