个人稀疏编码笔记

Sparse Coding

参考于：《Sparse and Redundant Representations From Theory to Applications in Signal and Image Processing》
考虑如下的线性系统：

$$b=Ax$$
其中， $A\in\Re^{n \times m}, b \in\Re^{n}, x \in \Re^{m},n>m$,
$\qquad$因为{方程组}的行数（方程个数） $n$ 多于未知参数的个数 $m$, 因此上述方程组是欠定的，其解为 无解or无穷多解，为了保证上述方程有解，此后我们假定 $A$ 是满秩矩阵。
$\qquad$我们追求的结果是找到 $b$ 的稀疏表示方法，也即设法找到 $A, x$ 使得在该映射变换下， $x$ 是 $b$ 的稀疏表达方式，准则是利用 $x$ 中尽可能少的不为零的数，来等效表示 $b$。接下来，我们考虑各种范数指标。
sparsity: $x$ 中不为零元素的个数

二范数指标

$\qquad$我们选取指标：