稀疏表示

最新推荐文章于 2021-05-30 00:54:02 发布

my_chen_smile

最新推荐文章于 2021-05-30 00:54:02 发布

阅读量6.9k

点赞数 5

分类专栏：基础理论文章标签：系数表达

本文链接：https://blog.csdn.net/zseqsc_asd/article/details/79126815

版权

基础理论专栏收录该内容

4 篇文章 1 订阅

订阅专栏

1. 引言

稀疏表示具有完善的理论基础和使用价值并且广泛应用于图像处理，模式识别和机器视觉等领域。本文主要介绍稀疏表示算法理论基础和其在图像处理中的应用。理论基础全面介绍了稀疏表示的理论框架和不同lp-范数正则化项下优化算法。应用上结合无监督字典学习方法和有监督字典学习方法介绍了稀疏表示在图像处理和目标识别领域的应用。着重介绍在图像去噪，图像超分辨率，人脸识别以及目标识别等领域的应用算法，并分析算法的特点，和后续的发展趋势。最后总结稀疏表示在图像中的应用并对稀疏表示的发展方形进行展望。本文主要介绍系数表达的基本概念和l0范数的求解，后续的lp范数以及求解和应用见后续更新。

2. 稀疏表示框架

稀疏表示的目的就是从已有的字典中选择具有代表性的原子来表示输入图像。字典通常会是一个过完备的字典，因此在进行编码时得到的向量通常只有少数几个元素是为零的，其他的都为零，因此把这样的编码向量称之为稀疏编码。定义输入信号为y，已经学习到的字典为D，稀疏编码为 $\alpha$ ，则稀疏编码的目标函数如下：：

$\hat \alpha = \arg \mathop {\min }\limits_\alpha \left\| {y - D\alpha } \right\|_2^2\\ s.t.{\left\| \alpha \right\|_0} \le K$

其中，K是稀疏约束，为-范数，为向量中非零元素的个数。

通常我们更容易处理不含有约束的优化问题，因此将式引入拉格朗日乘子，则可以改写为

$\hat \alpha = \arg \mathop {\min }\limits_\alpha \left\| {y - D\alpha } \right\|_2^2 + \lambda {\left\| \alpha \right\|_0}$

下面对式从贝叶斯角度进行推导，假定 $x = D\alpha$ ，根据贝叶斯公式可得

$\hat x = \arg \max P\left( {x|y} \right) \propto \arg \max P\left( {y|x} \right)P\left( x \right)$

其中，为条件概率，为先验概率。假设稀疏编码稀疏服从指数分布，那么，

$\hat \alpha = \arg \mathop {\max }\limits_\alpha P\left( {\alpha |y} \right)\\ = \arg \mathop {\max }\limits_\alpha \left( { - \log P\left( {y|\alpha } \right) - \log P\left( \alpha \right)} \right)\\ = \arg \mathop {\min }\limits_\alpha \left\| {HD\alpha - y} \right\|_2^2 + \lambda {\left\| \alpha \right\|_p}$

其中，p=0,为-范数稀疏编码。

上式即为一般稀疏表示的目标函数。但是这里含有零范数，是一个非凸的NP难问题，因此在进行稀疏表示时出现了两大方向：一是对式采用贪婪的算法求取近似解；二是将-范数进行松弛为l1-范数或者l2-范数。图1展示了不同范数的解空间。零范数和l1-范数l2-范数的解可以进行近似。在目标函数的约束下，l1-范数和零范数的解更为相近，l1-范数解空间为凸集但是却不是光滑可微的，l2-范数近似程度较差，但是为凸集而且可微便于优化。因此在不同的应用背景下具有不同的要求。