《吴恩达机器学习》笔记——2 单变量线性回归

《吴恩达机器学习》笔记——2 单变量线性回归

1 模型描述

符号	定义
$m$	训练样本数量
$x$	”输入”变量/特征
$y$	“输出”变量/“目标”变量
$(x,y)$	一个训练样本
$(x^{(i)},y^{(i)})$	第$i$个训练样本
$h$	假设函数

模型	$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$

2 代价函数(Lost function)

表达	含义
$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$（简写$h(x)$）	假设函数
${\theta }_i$	模型参数

-	推导
目标	$\underset{{\theta }_0,{\theta }_1}{\min }\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
代价函数 （平方误差代价函数(square error cost function)）	$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
目标	$\underset{{\theta }_0,{\theta }_1}{\min }J({\theta }_0,{\theta }_1)$

名称	表达式
假设函数	$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$
模型参数	${\theta }_0,{\theta }_1$
代价函数	$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
目标	$\underset{{\theta }_0,{\theta }_1}{\min }J({\theta }_0,{\theta }_1)$

3 梯度下降法(Gradient descent algorithm)

函数	$J({\theta }_0,{\theta }_1)$
目标	$\underset{{\theta }_0,{\theta }_1}{\min }J({\theta }_0,{\theta }_1)$
思路	1. 初始化${\theta }_0$，${\theta }_1$ 2. 不停地改变${\theta }_0$，${\theta }_1$来使$J({\theta }_0,{\theta }_1)$变小直到找到$J$的最小值

-	梯度下降法
定义	重 复 直 至 收 敛 { θ j : = θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 ) ( f o r    j = 0    a n d    j = 1 ) } 重复直至收敛\{ \\\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)\qquad(\mathrm{for}\; j=0 \;\mathrm{and}\; j=1)\\\} 重复直至收敛{θj​:=θj​−α∂θj​∂​J(θ0​,θ1​)(forj=0andj=1)}
同时更新${\theta }_0$，${\theta }_1$	$$\begin{gathered} temp0:={\theta }_0-\alpha \frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1) \\ temp1:={\theta }_1-\alpha \frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1) \\ {\theta }_0:=temp0 \\ {\theta }_1:=temp1 \end{gathered}$$

符号	描述
$:=$	赋值
$\alpha$	学习率

4 线性回归的梯度下降

梯度下降法	线性回归模型
重 复 直 至 收 敛 { θ j : = θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 ) ( f o r    j = 0    a n d    j = 1 ) } 重复直至收敛\{ \\\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)\\(\mathrm{for}\; j=0 \;\mathrm{and}\; j=1)\\\} 重复直至收敛{θj​:=θj​−α∂θj​∂​J(θ0​,θ1​)(forj=0andj=1)}	$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$ $J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

公式	推导
$\frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$	$$\begin{gathered} =\frac{\partial }{\partial {\theta }_j}\cdot \frac{1}{2m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)}{)}^2 \\ =\frac{\partial }{\partial {\theta }_j}\cdot \frac{1}{2m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)}{)}^2 \end{gathered}$$
$j=0:\frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)$	$=\frac{1}{m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)})$
$j=1:\frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)$	$=\frac{1}{m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)})\cdot x^{(i)}$
梯度下降（同时更新）	重 复 直 至 收 敛 { θ 0 : = θ 0 − α 1 m ∑ i = 1 m ( h ( x ( i ) ) − y ( i ) ) θ 1 : = θ 1 − α 1 m ∑ i = 1 m ( h ( x ( i ) ) − y ( i ) ) ⋅ x ( i ) } 重复直至收敛\{ \\\theta_0:=\theta_0-\alpha\frac{1}{m}\sum\limits^m_{i=1}(h(x^{(i)})-y^{(i)})\\\theta_1:=\theta_1-\alpha\frac{1}{m}\sum\limits^m_{i=1}(h(x^{(i)})-y^{(i)})\cdot x^{(i)}\\\} 重复直至收敛{θ0​:=θ0​−αm1​i=1∑m​(h(x(i))−y(i))θ1​:=θ1​−αm1​i=1∑m​(h(x(i))−y(i))⋅x(i)}

“Batch”梯度下降	每一步梯度下降都遍历整个训练集样本