线性回归（1）基本要素

线性回归模型可以说是机器学习里面第一个学的模型了，理解了这个过程，那么机器学习的一般过程也就很明白了。

• 线性回归的模型如下：

架设房价为y，房屋面积为x1，房龄为x2。我们收集一系列的这些数据，用于训练这个模型。

一栋房屋被称为一个样本，真实价格y称为标签（label），用来预测的两个因素x1，x2称为特征（feature）

预测表达式为：

• 损失函数：用于测量预测值与真实值的误差 loss function

平方损失：

其中常数1/2使对平方项求导后的常数系数为1

通常，我们用训练数据集中所有样本误差的平均值来衡量模型预测的质量：

我们希望找出一组模型参数，记为，使得训练样本平均损失最小：

• 优化算法

像是线性回归最小化问题的解可以直接用公式表示出来，这类解叫做解析解。

然而大多数的深度学习模型并没有解析解，只能通过有限次迭代模型参数来尽可能降低损失函数的值，这类解叫做数值解。

数值优化算法中，小批量随机梯度下降在深度学习中被广泛运用：

1.选取一组模型参数的初始值，如随机选取；

2.对参数进行多次迭代，求出最小值；在每次迭代中，随机取一个小批量数据B，求小批量中数据样本的平均损失函数的导数。

3.用此结果与预先设定的一个正数（学习率）的乘积作为模型参数在本次迭代的减小量。

 

其中批量大小和学习率不能通过模型训练得出，因此称为超参数。