[机器学习]Lasso回归的优化

1. 回顾 

 回顾线性回归和ridge回归，均可用梯度下降+最小二乘法优化，详见[1]的1，2部分，优化简单。

 此外，关于Lasso、L2正则化等的解释 参见本人的另一篇博文，但未涉及优化。

2. Lasso的优化

目标表达式：

 (a)

 Lasso回归有时也叫做线性回归的L1正则化，求解的主要问题是损失函数不连续可导，故最小二乘、梯度下降等方法均失效。那么，如何优化呢？

1) 坐标下降法(coordinate descent)

对于待优化参数w（n维度），固定n-1个维度，求剩余的一个维度使得损失函数最小；迭代地依次对每个维度进行优化。

详见[1]4

2) 最小角回归(LARS)

详见[1]5 -- 首先介绍2个预备算法：前向选择（foward selection）和前向梯度(forward stagewise)算法，然后介绍LARS算法，博文偏向于从直觉上解释。

最原始+精确：参考论文[7]

3) 近端梯度下降（proximal gradient descent，简称PGD）

（1）回顾

本人的论文《robust convex clustering》，对RCC算法的