线性回归

线性回归是回归问题中的一种，线性回归假设目标值与特征之间线性相关，即满足一个多元一次方程。通过构建损失函数，来求解损失函数最小时的参数w和b。通长我们可以表达成如下公式

y^为预测值，自变量x和因变量y是已知的，而我们想实现的是预测新增一个x，其对应的y是多少。因此，为了构建这个函数关系，目标是通过已知数据点，求解线性模型中w和b两个参数。

求解方式
1）最小二乘法(least square method)
求解 w 和 b 是使损失函数最小化的过程，在统计中，称为线性回归模型的最小二乘“参数估计”(parameter estimation)。我们可以将 L(w,b) 分别对 w 和 b 求导，得到

令上述两式为0，可得到 w 和 b 最优解

梯度下降(gradient descent)
梯度下降核心内容是对自变量进行不断的更新（针对w和b求偏导），使得目标函数不断逼近最小值的过程

ROC 曲线
显示了在选定不同阈值的情况下FPR和TPR围成的曲线
AUC曲线
ROC所围成的面积，预测为正的概率值比预测为负的概率值还要大的可能性，越小说明结果越准确

R^2
模型在多大程度上能解释样本
TSS：样本平方差之和
RSS：残差的平方和
ESS：预测值与样本平均值差的平方和
如果样本是无偏的，那么TSS=RSS+ESS

ARMA
p回归阶数，d差分，q移动平均结束