《吴恩达机器学习》笔记——5 多变量线性回归

《吴恩达机器学习》笔记——5 多变量线性回归

1 多功能

符号	定义
$n$	特征量的数目
$x^{(i)}=[x_1^{(i)};x_2^{(i)};\dots ;x_n^{(i)}]$	第$i$个训练样本的输入特征值
$x_j^{(i)}$	第$i$个训练样本中第$j$个特征量的值
$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$	$$\begin{gathered} 定义x_0=1 \\ x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\in {\mathbb{R}}^{n+1} \\ \theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_n\end{array}\right]\in {\mathbb{R}}^{n+1} \end{gathered}$$ $h_{\theta }(x)={\theta }^{\mathrm{T}}x$

2 多元梯度下降

假设函数	$h_{\theta }(x)={\theta }^{\mathrm{T}}x={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$
模型参数	$\theta$
代价函数	$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
梯度下降	重 复 { θ j : = θ j − α ∂ ∂ θ j J ( θ ) } ( j = 0 , … , n ) 重复\{\\\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta)\\\}\qquad (j=0,\dots,n) 重复{θj​:=θj​−α∂θj​∂​J(θ)}(j=0,…,n)
-	重 复 { θ j : = θ j − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) } ( j = 0 , … , n ) 重复\{\\\theta_j:=\theta_j-\alpha\frac{1}{m}\sum\limits^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})x^{(i)}_j\\\}\qquad (j=0,\dots,n) 重复{θj​:=θj​−αm1​i=1∑m​(hθ​(x(i))−y(i))xj(i)​}(j=0,…,n)

1 特征缩放

目的	将特征的取值约束在-1到+1的范围内
$x_0=1$	-
$x_j(j⩾1)$	特征缩放

特征缩放	描述	注
-	$$\frac{x_j}{s_j}$$	$s_j=\max -\min$：特征值范围
均值归一化(mean normalization)	$$\frac{x_j-{\mu }_j}{s_j}$$	${\mu }_j=\mathrm{a}\mathrm{v}\mathrm{g}$：特征值平均值 $s_j=\max -\min$或$\mathrm{s}\mathrm{t}\mathrm{d}$：特征值范围或标准差

2 学习率

$\alpha$	后果
过小	收敛速度慢
过大	1. $J(\theta )$可能不会在每次迭代都下降 2. 可能不收敛

$\alpha$选择，尝试
$\dots ,0.001,0.003,0.01,0.03,0.1,0.3,1,\dots$

3 正规方程

参数	表达
$m$	样本数
$n$	特征数
$x_0$	1
$x^{(i)}$	$\left[\begin{array}{c}{x}_0\\ x_1^{(i)}\\ ⋮\\ x_n^{(i)}\end{array}\right]\in {\mathbb{R}}^{n+1}$
$y^{(i)}$	$y^{(i)}$
$X$	$\left[\begin{array}{c}(x^{(1)}{)}^{\mathrm{T}}\\ (x^{(2)}{)}^{\mathrm{T}}\\ ⋮\\ (x^{(m)}{)}^{\mathrm{T}}\end{array}\right]={\left[\begin{array}{cccc}{x}_0& x_1^{(1)}& \cdots & x_n^{(1)}\\ x_0& x_1^{(2)}& \cdots & x_n^{(2)}\\ ⋮& ⋮& \ddots & ⋮\\ x_0& x_1^{(m)}& \cdots & x_n^{(m)}\end{array}\right]}_{m\times (n+1)}$
$y$	${\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(m)}\end{array}\right]}_{m\times 1}$
$\theta$	$(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y$

-	梯度下降	正规方程
优点	适用于较大的$n$	不需要选择$\alpha$ 不需要进行迭代
缺点	需要选择$\alpha$ 需要多次迭代	需要计算$(X^{\mathrm{T}}X{)}^{-1}$ 当$n$很大时较慢