【机器学习】TensorFlow (二)优化器Optimizer

本文介绍了TensorFlow中的优化器使用,包括GradientDescentOptimizer和AdamOptimizer。GradientDescentOptimizer是基本的梯度下降算法实现,通过init创建对象,minimize方法用于最小化loss,它内部包含了compute_gradients和apply_gradients两个步骤。而AdamOptimizer是自适应学习率的优化算法,结合了Momentum和RMSprop的特点。
摘要由CSDN通过智能技术生成

昨天整理了一下梯度下降算法及其优化算法,传送门:https://blog.csdn.net/zxfhahaha/article/details/81385130
那么在实战中我们如何用到这些优化器,今天就整理一下TensorFlow中关于优化器Optimizer的API。
首先要知道的一个类是tf.train.Optimizer,它是Optimizer的基类,这个类我们不会用到,主要用到的是它的子类,这些子类都可以对应到上一篇的梯度优化算法中的理论知识。

tf.train.GradientDescentOptimizer

GradientDescentOptimizer是执行梯度下降算法GradientDescent的优化器,这个算法是最基础的梯度下降算法,我们知道梯度下降算法根据样本数量分为批量梯度下降算法(Batch Gradient Descent)、随机梯度下降算法(Stochastic Gradient Descent)和小批量梯度下降算法(Mini-batch Gradient Descent)。
那么这个GradientDescentOptimizer优化器会根据我们传入的data的大小成为上述三种的一种。
下面介绍一些这个类常用的方法:

init 创建一个gradient descent optimizer对象

__init__(
    learning_rate,  
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值