一直以来对LR正则化添加的L1,L2 惩罚项没有搞清楚其意义
pluskid的博客
http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#67364f6b44ff80f9f952d5a46f2307425d2ee9ac
让我明白了一直以来的疑问,对数据量非常少,特征非常多的情况下,会导致求解不唯一性,加上约束项可以得到一个确定的解,同时也导致了稀疏性的产生
同时另外一文章 http://freemind.pluskid.org/machine-learning/equivalence-of-several-l1-sparsity-problem/ 讲清楚了凸优化的几种等价形式的原理。
斯坦福大学同样有一篇文章讲述了稀疏性编码的入门介绍文章
http://deeplearning.stanford.edu/wiki/index.php/稀疏编码
,思路很清楚,结合pluskid 关于惩罚项的分析,可以很好的理解稀疏编码的意义
还有某才女的分析http://blog.csdn.net/abcjennifer/article/details/7748833,进一步从0范数,2范数的逐渐过度到为什么采样1范数作惩罚项目并和pluskid 一样先从二维图图形的角度去直观的分析0范和2范的问题,最终分析到1范条件。整个过程都清楚
原文:https://blog.csdn.net/omade/article/details/17719311