机器学习算法基础-1-线性回归

开源地址：https://github.com/datawhalechina/team-learning/tree/master/机器学习算法基础

一、线性回归的原理
1.线性回归的一般形式：
有数据集

,其中,

其中n表示变量的数量，d表示每个变量的维度。
可以用以下函数来描述y和x之间的关系：

如何来确定𝜃的值，使得𝑓(𝑥) 尽可能接近y的值呢？均方误差是回归中常用的性能度量，即：

我们可以选择𝜃，试图让均方误差最小化：
极大似然估计（概率角度的诠释）
下面我们用极大似然估计，来解释为什么要用均方误差作为性能度量：
我们可以把目标值和变量写成如下等式：

𝜖表示我们未观测到的变量的印象，即随机噪音。我们假定𝜖 是独立同分布，服从高斯分布。（根据中心极限定理）

因此：

我们建立极大似然函数，即描述数据遵从当前样本分布的概率分布函数。由于样本的数据集独立同分布，因此可以写成：

选择𝜃 ，使得似然函数最大化，这就是极大似然估计的思想。
为了方便计算，我们计算时通常对对数似然函数求最大值：

显然，最大化𝑙(𝜃) 即最小化

这一结果即均方误差，因此用这个值作为代价函数来优化模型在统计学的角度是合理的。
2.线性回归损失函数、代价函数、目标函数
损失函数(Loss Function)：度量单样本预测的错误程度，损失函数值越小，模型就越好。
代价函数(Cost Function)：度量全部样本集的平均误差。
目标函数(Object Function)：代价函数和正则化函数，最终要优化的函数。
常用的损失函数包括：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等；
常用的代价函数包括均方误差、均方根误差、平均绝对误差等。
3、线性回归的优化方法
（1）梯度下降法
设定初始参数𝜃,不断迭代，使得𝐽(𝜃)最小化：



将所有的参数以向量形式表示，可得：

由于这个方法中，参数在每一个数据点上同时进行了移动，因此称为批梯度下降法，对应的，我们可以每一次让参数只针对一个数据点进行移动，即：

这个算法成为随机梯度下降法，随机梯度下降法的好处是，当数据点很多时，运行效率更高；缺点是，因为每次只针对一个样本更新参数，未必找到最快路径达到最优值，甚至有时候会出现参数在最小值附近徘徊而不是立即收敛。但当数据量很大的时候，随机梯度下降法经常优于批梯度下降法。

当J为凸函数时，梯度下降法相当于让参数𝜃 不断向J的最小值位置移动
梯度下降法的缺陷：如果函数为非凸函数，有可能找到的并非全局最优值，而是局部最优值。
（2）最小二乘法矩阵求解






（3）牛顿法