机器学习之线性回归

首发自个人博客 laserwave.github.io

符号解释

训练样例 $(x, y)$
输入变量/特征 $x$ PS: $n+1$行，$1$列
输出变量/目标变量 $y$
训练样例总数 $m$
特征维度 $n$
第 $i$ 个训练样例 $(x^{(i)}, y^{(i)})$
所有训练样例的输入变量组成的矩阵 $X$ PS: $m$行，$n+1$列，每行是$(x^{(i)})^T$
所有训练样例的输出变量组成的矩阵 $Y$ PS: $m$行，$1$列

什么是线性回归

下表是某地区房屋的面积及其价格的一些数据。

我们对这些数据进行描点画图，得到下图，线性回归就是要在图上找到一条最佳的直线来拟合价格与面积的关系。这个例子中仅包含一个特征即房屋面积。

形式化来讲，给定数据集 D={(x1,y1),(x2,y