题外语:眼光是最重要的,当下什么是被淘汰的,什么是有前景的,生命周期是多少?这大概是做抉择最重要的。
一、回归
偏置项相当于一次线性函数坐标轴上的截距,和误差项不是一个东西。
统计名词联系生活实际含义举例。
最小二乘法:
是使似然函数最大时最小的函数项,可叫损失函数(loss function)
二、梯度下降
沿当前曲线所在点切线方向下山最快,切点处梯度为正,下山则取反方向,则为梯度下降。
三、正则化
利用正则化选择一个稳定的模型,即模型系数之间变化不大,更加稳定。
岭回归加入的是平方项,Lasso回归加的是绝对值