机器学习十大算法 （三） 最小二乘法

概念

最小二乘法是一种优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便的求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

最小二乘法的原则是残差和最小。

过程（一元）

样本回归模型，ei为误差：

平方损失函数：

这就是最小二乘法的解法，就是求得平方损失函数的极值点。

最小二乘法与梯度下降法

本质相同

但是实现方法不同：最小二乘法是直接求导找出全局最小，而非迭代法。

而梯度下降是一种迭代法，先给定一个参数，然后朝误差函数下降最快的方向调整参数，在若干次迭代之后找到局部最小。

梯度下降的缺点是到最小点的时候收敛速度变慢，并且对初始点的选择极为敏感，其改进大多是在这两方面下功夫。