吴恩达老师《机器学习》课程目录

1. 线性回归及其学习过程。 包括代价函数，梯度下降方法，多项式线性拟合
2. 与线性拟合相近的一种求解参数的技巧：正规方程。 它直接利用输入矩阵与输出矩阵，通过矩阵求逆得到参数矩阵。但这种方法的计算量比较大（因为要计算矩阵求逆）。当矩阵不可逆时考虑两个原因：1特征具有相关性；2.特征太多，数据较少
3. 处理特征的一些技巧：比如特征缩放，均值归一化，画出代价函数随迭代次数的曲线变化来判断学习过程是否正确。
4. 逻辑回归：解决分类问题逻辑回归与线性回归的假设函数不同，代价函数也不同，但同样使用梯度下降法进行参数迭代计算。判定边界，也就是区分不同输出的一个边界。多分类情况：先两辆分类，然后选使预测输出最大的一个输出。
5. 正则化在代价函数中加入正则项，在参数梯度下降公式中同样会有正则项。
6. 神经网络及其学习神经网络的代价函数，参数使用梯度下降法求出，梯度下降法需要使用BP算法梯度检测：检测计算的梯度是否正确初始化参数值：不能全都初始化为0，应该随机初始化
7. 应用机器学习的建议高方差，高偏差增加数据？增加特征集？减少特征集？更高阶的多项式？增大或减小正则比例lamta?评估一个假设：训练集，交叉验证集，测试集学习曲线：训练集误差与交叉验证集误差随训练集数量的变化曲线。作用：观察高偏差还是高方差
8. 机器学习系统的设计误差分析：先使用简单模型进行误差分析准确率，召回率，F1系数
9. 支持向量机在逻辑回归的基础上改变了代价函数，大间隔分类非线性问题–核函数：表示与标记之间的距离。 通过核函数来确定非线性边界 ，含有核函数的代价函数多类分类：与逻辑回归相似，需要多个模型，选取使输出最大的分类结果。逻辑回归与SVM的对比
10. 聚类：K均值不同的初始化数值对应不同的分类结果手动选择分类的个数K
11. PCA：主成分分析—降维两个应用：数据压缩，数据可视化奇异值分解方法使用特征缩放\均值归一化PCA只在需要它的时候使用，不应该被滥用
12. 异常检测发生该事件的概率很低的时候视为异常，一般使用高斯分布多元高斯分布
13. 推荐系统协同过滤：同时收敛特征与参数
14. 大规模机器学习随机梯度下降，小批量梯度下降，在线学习
15. 上限分析，管道流问题