前言:本文包括以下几个方面,1. 介绍Lasso,从最初提出Lasso的论文出发,注重动机;
2. L1和L2范数的比较,注重L1的稀疏性及鲁棒性;
3. 从误差建模的角度理解L1范数
1. lasso
最早提出Lasso的文章,文献[1],已被引用n多次。
注:对于不晓得怎么翻译的英文,直接搬来。
1) 文献[1]的动机:
在监督学习中,ordinary least squares(OLS) estimates 最小化所有数据的平方残差(即只是让经验误差最小化),存在2个问题:
1是预测误差(prediction accuracy):OLS estimates总是偏差小,方差大;
2是可解释性(interpretation):我们希望选出一些有代表性的子集就ok了。
【Lasso还有个缺点,ref8:当p>>n时,(如 医学样本,基因和样本数目),Lasso却最多只能选择n个特征】
为了解决上面2个问题,2种技术应运而生:
1是subset selection:其可解释性强,但预测精度可能会很差;
2是岭回归(ridge regression):其比较稳定(毕竟是添加了正则化项,把经验风险升级为结构风险),
但可解释性差(