超级会员免费看
本文详细介绍了优化函数在机器学习中的作用，特别是对于非凸函数的优化。讨论了梯度下降法的基本思想、算法步骤以及不同变体，如批量梯度下降、随机梯度下降和动量优化器（包括Momentum、Nesterov动量型随机梯度下降）。此外，还比较了SGD与Adam优化器的优缺点，并阐述了Adam的二阶矩原理，揭示了动态调整学习率的重要性。
B站：啥都会一点的研究生
公众号试读：啥都会一点的研究生
目录
说说优化函数的作用？
损失函数是用来度量模型预测值和真实值间的偏差，偏差越小，模型越好，所以需要最小化损失函数。如何求最小值呢？我们知道对于凸函数可以直接求导可以找到最值，但是神经网络的损失函数往往是非凸函数，并不能直接求导。所以优化函数就可以帮助解决这个问题，优化函数就是用来最小化的损失函数的。
说说梯度下降法的作用？
1.梯度下降是迭代法的一种，可以用于求解最小二乘问题。
2.求解机器学习算法模型参数，即无约束优化问题时，主要有梯度下降法（Gradient Descent）和最小二乘法。
3.在求解损失函数最小值时，可通过梯度下降法来迭代求解，得到最小化的损失函数和模型参数值。
4.如果需要求解损失函数的最大值，可通过梯度上升法来迭代。梯度下降法和梯度上升法可相互转换。
订阅专栏 解锁全文
3796
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
