线性回归模型特点:
一维Y=AX 求A。然后对未知X进行预测就是线性回归
线性回归的一般性表示:
这个公式是由1维推广过来的。
左边公式中x的0次幂是1所以可以推出时0到n的和。
可以推出右边公式两个矩阵相乘。
L为损失函数:损失函数用的欧几里得距离公式
为了让损失最小,L应该为导数为0的点。对损失函数公式进行求导。得出结论为:参数计算的公式为图中所示:
为了求c他。存在满秩情况直接进行运算。不瞒秩或者不正定的时候,存在多个解,并不是没有解,即解不唯一。此时选择哪一个解作为最后模型的参数呢?一是通过既定的选择便好来决定;二是采用梯度下降来近似。我觉得性能问题倒不是主要原因,主要原因是因为存在多个解(至于为什么你可以查查矩阵相关的资料)。经常使用的梯度下降方法: