线性回归（Linear Regression）

线性回归（Linear Regression）

    在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。因为自变量和因变量之间关系是线性关系，所以叫做线性回归。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。线性回归模型经常用最小二乘逼近来拟合。

一. 线性回归模型

    我们假设自变量x与因变量y是线性关系。则假设预测输出为：

    模型假定好后，我们把训练数据代入上面的设定模型中，可以通过模型预测一个样本最终值：

其中上式右边第二项表示样本(i)的真实值与预测值的误差。

二. 成本函数(cost function)

    由上述模型，我们使用最小二乘法做成本函数：