Content:
1. Preface
高中时就听过最小二乘法的大名,当时是用来求回归直线的方程. 但如果只是求个方程的话,倒不用给方法也起个名字,后来才知道最小二乘法其实跟线性方程组有关,下面就让我们重新认识一下最小二乘法!
2. Background
首先考虑线性方程组解的存在条件,线性方程组 A x = b Ax=b Ax=b ( A ∈ R m × n ) (\small A \in R^{m\times n}) (A∈Rm×n)有解,意味着存在 x x x 使得等式成立. 这个大家都知道,这里从另一个角度进行解释:
设 A = ( α 1 , α 2 , ⋯ , α n ) \small A=(\alpha_1,\alpha_2,\cdots, \alpha_n) A=(α1,α2,⋯,αn), α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots, \alpha_n α1,α2,⋯,αn 为 A \small A A 的列向量组. 设 x = ( x 1 , x 2 , ⋯ , x n ) x=(x_1,x_2,\cdots,x_n) x=(x1,x2,⋯,xn),则 A x = α 1 x 1 + α 2 x 2 + ⋯ + α n x n \small Ax=\alpha_1x_1+\alpha_2x_2+\cdots+\alpha_nx_n Ax=α1x1+α2x2+⋯+α