《吴恩达机器学习》笔记——11 应用机器学习的建议

《吴恩达机器学习》笔记——11 应用机器学习的建议

1 决定下一步做什么

问题	算法改进
产生较大误差	1. 使用更多训练样本 2. 尝试选用更少特征 3. 获取更多特征 4. 增加多项式特征 5. 增大或减小$\lambda$

2 模型评估与选择

评估	单个模型	多个模型选择
数据集	训练集(70%) 测试集(30%)	训练集(60%) 交叉验证集(20%) 测试集(20%)
训练/测试	1. 从训练集中学得$\theta$ 2. 计算测试误差	使用交叉验证集来测试计算出$J_{cv}(\theta )$，观察效果并选择交叉验证误差最小的假设作为模型

3 偏差与方差

问题类型	偏差问题(bias)	方差问题(variance)
来源	训练误差	交叉验证误差
欠拟合	高	高
过拟合	低	高
正则化	$\lambda \uparrow \to 偏差\uparrow$	$\{\begin{array}{cc}欠拟合，高方差& \lambda 过大\\ 低方差& \lambda 合适\\ 过拟合，高方差& \lambda 过小\end{array}$

4 学习曲线

参数	描述
$J_{train}(\theta )$	$\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
$J_{cv}(\theta )$	$\frac{1}{2m_{cv}}\sum _{i=1}^{m_{cv}}(h_{\theta }(x_{cv}^{(i)})-y_{cv}^{(i)}{)}^2$
$m$	训练集大小（横轴）
$error$	误差（纵轴）

学习曲线 $m\uparrow \to$	高偏差	高方差
$J_{train}(\theta )$	逐渐增大$\to$不再增大	缓慢增大
$J_{cv}(\theta )$	逐渐减小$\to$不再减小（仍较大） （$\approx J_{train}(\theta )$）	缓慢减小 （仍与$J_{train}(\theta )$有较大差距，但差距随着$m$的增大减小）

5 决定接下来做什么

使用问题	算法改进（绘制并观察学习曲线）
高偏差	3. 获取更多特征 4. 增加多项式特征 5.2 减小$\lambda$
高方差	1. 使用更多训练样本 2. 尝试选用更少特征 5.1 增大$\lambda$