最小二乘法

最小二乘法是用来做函数拟合或求函数极值的方法，在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影。

它通过最小化误差和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法实质就是最小化“均方误差”，而均方误差就是残差平方和的1/m(m为样本数)，同时均方误差也是回归任务中最常用的性能度量。

1.最小二乘法的原理与要解决的问题

目标公式：

也可以写成

最小二乘法的目标就是最小化公式

2.最小二乘法的代数法解法

上面提到要使J(θ0,θ1)最小，方法就是对θ0和θ1分别来求偏导数，令偏导数为0，得到一个关于θ0和θ1的二元方程组。求解这个二元方程组，就可以得到θ0和θ1的值

对于多个样本特征的线性拟合来说，

拟合函数表示为：