线性回归

损失函数是啥

mse,最小均方误差:

最小二乘/梯度下降手推

• 最小二乘
  • 损失函数：
  • 求导可得：
    • 使右侧为0可得：
    • 如果X点乘X的转置可逆则有唯一解，否则无法如此求解
• 梯度下降
  • 损失函数：
  • 求导可得梯度：

介绍一下岭回归

加上l2的线性回归：

在用最小二乘推导的过程和上面一样，最后在结果上进行了平滑，保证有解：

什么时候使用岭回归？

样本数少，或者样本重复程度高

什么时候用Lasso回归？

特征过多，稀疏线性关系，目的为了在一堆特征里面找出主要的特征