[机器学习]Lasso，L1范数，及其鲁棒性

前言：本文包括以下几个方面，1. 介绍Lasso，从最初提出Lasso的论文出发，注重动机；

2. L1和L2范数的比较，注重L1的稀疏性及鲁棒性；

3. 从误差建模的角度理解L1范数

1. lasso

最早提出Lasso的文章，文献[1]，已被引用n多次。

注：对于不晓得怎么翻译的英文，直接搬来。

1) 文献[1]的动机：

在监督学习中，ordinary least squares(OLS) estimates 最小化所有数据的平方残差（即只是让经验误差最小化），存在2个问题：

1是预测误差（prediction accuracy）：OLS estimates总是偏差小，方差大；

2是可解释性（interpretation）：我们希望选出一些有代表性的子集就ok了。

【Lasso还有个缺点，ref8：当p>>n时，（如 医学样本，基因和样本数目)，Lasso却最多只能选择n个特征】

为了解决上面2个问题，2种技术应运而生：

1是subset selection：其可解释性强，但预测精度可能会很差；

2是岭回归(ridge regression)：其比较稳定（毕竟是添加了正则化项，把经验风险升级为结构风险），

                                                但可解释性差（