TensorFlow Optimizer(优化器)

• Optimizer(优化器)

• tf.train.GradientDescentOptimizer 梯度下降法
• tf.train.AdadeltaOptimizer 自适应学习率调整
• tf.train.AdagradOptimizer
• tf.train.AdagradDAOptimizer
• tf.train.MomentumOptimizer 动量优化器
• tf.train.AdamOptimizer
• tf.train.FtrlOptimizer
• tf.train.ProximalGradientDescentOptimizer
• tf.train.ProximalAdagradOptimizer
• tf.train.RMSPropOptimizer 
   
• 标准梯度下降法：
  
  标准梯度下降先计算所有样本汇总误差，然后根据总误差来更新权值
   
• 随机梯度下降法：
  
  随机抽取一个样本来计算误差，然后更新权值
   
• 批量梯度下降法：
  
  从总样本中取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。