吴恩达机器学习笔记（二）

一、 模型描述

提供训练集，学习算法的任务是输出一个函数，通常用 h 表示，h 表示假设函数 hypothesis

假设函数的作用是给定输入变量 x ，输出相应的预测值 y ；h 是一个引导 x 得到 y 的函数

二、代价函数

1.平方误差代价函数

在线性回归中，我们要解决的是一个最小化问题，我们希望 h(x) 和 y 之间的差异要小
$$(h(x{)}^i-y^i{)}^2$$
对所有的训练样本进行求和（m代表训练集的样本数）
$$\sum _{i=1}^m(h(x{)}^i-y^i{)}^2$$
为了使公式更直白，我们计算
$$\frac{1}{2m}\sum _{i=1}^m(h(x{)}^i-y^i{)}^2$$
因此，代价函数记为
$$J(\theta 1,\theta 2)=\frac{1}{2m}\sum _{i=1}^m(h(x{)}^i-y^i{)}^2$$
我们的优化目标是$$minimiz{e}_{\theta 1,\theta 2}J(\theta 1,\theta 2)$$
2.令参数2=0
$\theta =1$时，$J(\theta )=J(1)=0$

$\theta =0.5$时，$J(\theta )=J(0.5)=0.58$

$\theta =0$时，$J(\theta )=J(0)=2.3$

经过一系列数值的计算，我们最终会得到函数$J(\theta )$的形状

3.使用两个参数
代价函数会变为三维曲线

用等高线来表示,每一条等高线上的点对应的$J(\theta 0,\theta 1)$都相等，最小值在中心原点处，距离原点越近，拟合越好

三、梯度下降法——可以将代价函数最小化

梯度下降是很常用的算法，它不仅被用在线性回归上，还被广泛用于机器学习的众多领域
1.思路：

• 给定${\theta }_0$和${\theta }_1$的初始值，通常将${\theta }_0$和${\theta }_1$均设为0
• 我们在梯度下降算法中要做的是不停地一点点改变${\theta }_0$和${\theta }_1$，来使$J({\theta }_0,{\theta }_1)$变小
• 直到我们找到$J$的最小值或者局部最小值

2.特点： 从不同的起点出发，将有可能获得不同的局部最优解

3.数学定义
repeat until convergence（重复计算直至收敛）{
${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)//forj=0andj=1，同时更新{\theta }_0和{\theta }_1$
}
4.线性回归的梯度下降

上式利用了简单的求导公式

该算法也叫做Batch梯度下降算法：每一步梯度下降，我们都遍历了整个训练集的样本，所以在梯度下降中，当计算偏导数时，我们计算总和。在每一个单独的梯度下降我们最终计算 m 个训练样本的总和，

​