本文介绍了在处理大规模数据集时，如何利用随机梯度下降（SGD）、小批量梯度下降以及在线学习策略来优化模型。随机梯度下降通过每次仅更新一个样本的梯度来降低计算成本，而在线学习则允许模型实时适应连续的数据流。此外，还讨论了映射化简和数据并行的概念，用于加速机器学习过程。
17.大规模机器学习(Large Scale Machine Learning)
文章目录
17.1 大型数据集的学习
如果我们有一个低方差的模型，增加数据集的规模可以帮助你获得更好的结果。我们应该怎样应对一个有100万条记录的训练集？
以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和，如果我们的学习算法需要有20次迭代，这便已经是非常大的计算代价。
首先应该做的事是去检查一个这么大规模的训练集是否真的必要，也许我们只用1000个训练集也能获得较好的效果，我们可以绘制学习曲线来帮助判断。
17.2 随机梯度下降法
如果我们一定需要一个大规模的训练集，我们可以尝试使用随机梯度下降法来代替批量梯度下降法。
在随机梯度下降法中，我们定义代价函数为一个单一训练实例的代价：
c o s t ( θ , ( x ( i ) , y ( i ) ) ) = 1 2 ( h θ ( x ( i ) ) − y ( i ) ) 2 cost\left( \theta, \left( {x}^{(i)} , {y}^{(i)} \right) \right) = \frac{1}{2}\left( {h}_{\theta}\left({x}^{(i)}\right)-{y}^{ {(i)}} \right)^{2} cost(θ,(x(i),y(i)))=21(hθ(x(i))−y(i)
最低0.47元/天 解锁文章
179
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
