1. 最小二乘法
数据集： D = { ( x i , y i ) ∣ i = 1 , 2 , … , N , x i ∈ R p , y i ∈ R } D=\{(x_i,y_i)|i=1,2,\dotsc,N,x_i\in\Reals^p,y_i\in\Reals\} D={
(xi,yi)∣i=1,2,…,N,xi∈Rp,yi∈R}
X = ( x 1 , x 2 , … , x N ) N × p T , Y = ( y 1 y 2 ⋮ y N ) N × 1 X=(x_1,x_2,\dots,x_N)_{N\times p}^T,Y=\begin{pmatrix}y_1\\y_2\\\vdots\\y_N\end{pmatrix}_{N\times 1} X=(x1,x2,…,xN)N×pT,Y=⎝⎜⎜⎜⎛y1y2⋮yN⎠⎟⎟⎟⎞N×1
线性回归就不多介绍了，就是拟合曲线。假设拟合的曲线为 f ( w ) = w T x f(w)=w^Tx f(w)=wTx
最小二乘估计： L ( w ) = ∑ i = 1 N ∥ w T x i − y i ∥ 2 = ( w T x T − y T ) ( x w − y ) = w T X T X w − 2 w T X T Y + Y T Y L(w)=\sum\limits_{i=1}^{N}\|w^Tx_i-y_i\|^2=(w^Tx^T-y^T)(xw-y)\\=w^TX^TXw-2w^TX^TY+Y^TY L(w)=i=1∑N∥wTxi−yi∥
最低0.47元/天 解锁文章
648
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
