机器学习学习笔记1（李宏毅网课）

机器学习学习笔记1 （李宏毅网课）

一、Regression回归

• 回归的目的是拟合特定的函数
• 步骤1：建立模型

  假设为线性模型
  x为特征，w为权重，b为bias。

• 步骤2：Loss Function

衡量参数的好坏

• 步骤3：Gradient Descent梯度下降

  计算关于参数w与b关于Loss Function的梯度向量
  
  接着将梯度乘以学习率$\eta$,并不断更新参数
  

• 可能出现的问题

  过拟合：模型可能选得次数太高
  Solution1: 对于不同的信号可以选择不同的模型，降低阶次Solution2: Regularization正则化约束
  在Loss Function中加入惩罚项
  此处惩罚项的意义为使输入拟合函数对输入不敏感，让函数更平滑，且$\lambda$越大，函数越平滑。

• 误差分析

  Variance太大则为Overfitting, Bias太大为Underfitting。

  如果你的拟合函数直接无法拟合你的训练集，则为bias太大（因为整个拟合函数的set根本无法覆盖到你的target)。
  若是能fit你的训练集，但误差太大，则为overfitting。
  对于bias的问题：解决方法两个：一是增加更多的特征作为输入，二是使用阶次更大的model。
  对于variance的问题：一是使用更多data,二是使用正则化。

• Note

  对于模型的选择：training set的使用：分为training set和validating set。由此选择出最好的model。
  若认为validating set没有用于训练，可以分为三份如下，轮流使用。

二、梯度下降

自适应的学习率

最简单的想法：学习率随次数增加而减小
Adagrad:学习率每次除以之前所有$\omega$的平方和的均值再开根号，并结合上图的式子。
最终可以化简为：
Note:如何理解这里g既出现在分子又出现在分母上（表征着更大的学习率与更小的学习率）
最佳的学习率应该是一阶导除以二阶导。

Stochastic Gradient Descent

对于之前所讨论的问题，每次更新参数时，我们使用的是整个测试集，而在随机梯度下降中，在每次更新参数时，只使用一个样本。若有20个样本，则相较于之前的整体的方法而言，使用随机梯度下降，则可以一次走20步，可以更快收敛。

Feature Scaling

将所有的输入特征归一化：
则等高线图由椭圆变成圆，更容易收敛。

梯度下降的数学原理

泰勒级数展开：只要范围足够小，就能近似到Loss Function最小的位置。

二、分类：概率生成模型

1. 基本模型

2. 概率生成模型：

概率生成模型是先验假定服从某种分布的分类模型，而后面在logistic回归中的determistic model并不假定数据服从某种分布，模型相同，直接梯度下降给出判决函数。概率生成模型对于误差较大的数据集表现更好。
1）通常假设数据集特征服从高斯分布

Loss Function形式如上图，其中x是所有符合这一类的数据集，找到最优的均值与方差，使得上式最大。可以得到最优均值与方差如下：
然后再带入分类的公式，可以得到判决函数。>0.5为类别1，否则为类别2。

3. Modefy Model

对于不同的分类可以共享方差，使用相同的方差。减少参数，以防止overfitting。方差由二者的贡献来定：
在方差相等的情况下，判决函数为线性的。

三、Logistic Regression

1.模型

与线性回归最大的区别就是经过了一个$\sigma$(z)函数，输出一定是在0到1之间的。

最终求解出的Loss Function的结果是互信息的形式：
互信息表征这两个分布的接近的程度。且两个分布均是伯努利分布。
同样是利用梯度下降求解最佳值。
至于为什么使用互信息，而不使用误差的平方，是因为互信息对于非target的位置的梯度更大，收敛速度更快。

2. 类神经网络

对于logistic regression而言，其判决函数始终未一条直线。而数据的特征不一定能被直线分开。所以需要对数据特征进行transform。具体实现方法 是用多个logistic regression并联，作为transform。再串联一个logistic regression，便可classify。

以上内容均来自李宏毅老师网课。