最小角回归（Least Angle Regression）

数学公式显示有问题，更好的版本请点击 最小角回归

背景知识

最小角回归和模型选择比较像，是一个逐步的过程，每一步都选择一个相关性最大的特征，总的运算步数只和特征的数目有关，和训练集的大小无关。最小角回归训练时的输入为特征矩阵  X={ X1,X2,...,XP} ，和期输出向量 Y={ y1,y2,...,yN} ， Xi  是长度为 N 的矩阵， N 表示训练集的大小， P 则是特征的数目。还有一点需要注意的是，向量 Xi  和  Y  都是正则化之后的向量，即它们的元素的均值为0，且每个向量的长度都是1，这样做的目的是为了后面计算相关性以及角度的方便。

相关性

相关性一般是用来衡量两个向量之间的相关程度，通常采用相关性公式进行计算，其中A，B为向量：

corr==Cov(A,B)Var(A)Var(B)−−−−−−−−−−−−√E[(A−A¯)(B−B¯)]E[(A−A¯)2]E[(B−B¯)2]−−−−−−−−−−−−−−−−−−−√

corr的绝对值越大，表示A，B的相关性越大，反之则越小。corr的符号则表示这两个向量是正相关还是负相关。由于最小回归的训练数据是经过正则化的，即 A¯=B¯=0 ， |A|=|B|=1 ，所以上面的计算公式可以进行简化。

corr===E(AB)E(A2)E(B2)−−−−−−−−−−√E(AB)1∗1−−−−√E(AB)

在最小角回归中， E(AB)=ABn ，其中n是向量A或B中元素的个数，因而n是定值，所以为了方便计算，在计算向量的相关性时，我们只需要计算 AB 即可。为了计算每个特征和期望输出的相关性，我们需要计算每个 Xi  与  Y 的相关性，这种情况下，我们可以采用矩阵和向量的乘法来进行运算，这里X是