优化器怎么选？一文教你选择合适的优化器

优化器是深度学习领域的重要组成模块之一，执行深度学习任务时采用不同的优化器会产生截然不同的效果。这也是研究者们不遗余力「炼丹」的原因之一。常见的优化算法包括梯度下降（变体 BGD、SGD 和 MBGD）、Adagrad、Adam、Momentum 等，如此繁多的优化器应该如何做出抉择呢？

不久前，Lightly-ai 的机器学习工程师 Philipp Wirth 撰写了一篇指南，总结了计算机视觉、自然语言处理和机器学习领域普遍使用的流行优化器，并就如何选择合适的优化器给出了建议。
原文链接：https://lightly.ai/post/which-optimizer-should-i-use-for-my-machine-learning-project