机器学习笔记（七）线性回归与对数几率回归

线性模型即用线性代数中的线性方程表示一个模型，诸如fx=wTx+b的形式。

其中训练得出w和b后，模型就得以确认。

其中w其实就是代表各个属性的权重值。

线性模型有三种任务，分别为回归任务、二分类任务和多分类任务。

1.线性回归

试图学得fx=wTx+b ≈ y y即实际值。在输出的所有（w，b）中，采用均方误差最小的原则来选取最好的性能度量。

更一般的情形是如本节开头的数据集D，样例由fxi=wTxi+b是的fxi约等于yi，这称为多元线性回归方程。类似的，也可以用最小二乘法来对w和b进行估计。其中由xi组成的矩阵X为m*（d+1）行的矩阵（m个测试数据，d个属性，最后一列为1），当X的转置乘以X为满秩矩阵时，可以得出唯一的解，但是当属性变量大于样例数时，会导致最后出现多个（w，b），此时需要引入归纳偏好来决定。

当我们想让模型预测值逼近y的衍生物，例如，认为示例所对应的输出标记是在指数尺度上变化，那就可将输出标记的对数作为线性模型逼近的目标，即lny=wTx+b，这就是对数线性回归。他实际上是试图让e（wtx+b）逼近y

更一般的，考虑单调可微函数g（·），令y=g-1（wTx+b），这样得到的模型称为广义线性模型，其中g（·）称为联系函数，显然，对数线性回归是广义线性回归g（·）=ln（·）时的特例。

2.对数几率回归

当要做分类任务，就只需要找到一个单调可微函数将分类任务的真是标记y与线性回归模型的预测值联系起来。

最理想的是单位跃阶函数...

 单位跃阶函数不连续，因此不能直接用作广义线性模型的g-1，于是我们需要找到在一定程度上近似单位跃阶函数的替代函数，并希望它单调可微。

对数几率函数...

虽然其名字是回归，但是实际却是一种分类学习方法。

其中也必须确定w与b。此处会牵扯到梯度下降法、牛顿法。