机器学习---斯坦福机器学习笔记：模型优化与问题诊断

1. 好的模型定义：
   1） 训练误差小。
   2） 训练误差接近测试误差

2. 高偏差&高方差
   1）偏差： 训练模型预测结果期望与实际值的偏差的期望。
   2）方差：训练模型预测结果的方差（预测值-预测值期望）的平方期望。
   3）偏差与方差与模型复杂度关系
   高偏差（high bias）： 模型预测值与实际值偏离较大，即模型欠拟合（增加更多特征，改变特征）。
   

   高方差（high variance）：过拟合（收集更多的训练样本，减少特征数）
   
   3.算法优化与目标优化
   1)加权准确率
   2)目标函数最大化

   Case 1
   假设存在算法A，B， 如果A加权准确率大于等于B的加权准确率，同时A的最大目标函数大于等于B的目标函数
   原因：模型未收敛。
   解决方法： 梯度下降多跑几次，使用牛顿法
   Case 2:
   假设存在算法A，B， 如果A加权准确率大于等于B的加权准确率，同时A的最大目标函数小于等于B的目标函数。
   原因：优化目标错误，换SVM.

3. 误差分析与消浊分析
   1） 误差分析： 将特征分为多个组件，查看每个组件对算法准确率提升。
   2）消浊分析： 从总体特征，逐步减去特征，然后查看准确率变化。