正规方程法(Normal Equation)

对于如下图中红框中的特征及其对应结果（房屋价格），添加一列特征值x0，构造成一个矩阵X
令Y为n维列向量：价格矩阵。

其最佳的θ向量可由下式计算得出：

其数学证明参考：
超定方程的最小二乘解

如果在使用正规方程法时发现特征矩阵为奇异矩阵（不可逆），考虑以下两点：
1.是否包含多余的特征(例如特征一为地面面积，特征二为地面长宽的乘积)
解决：删除多余特征
2.是否特征远远大于样本数(例如只有10个样本，每个样本有100个特征)
解决：考虑适当减少一些特征，或者进行正则化（regularization）

两种方法对比：
梯度下降法 VS… 正规方程法

结论：当特征值较小时采取正规方程法，当特征数较大（>>10000）时选择梯度下降法