凸优化学习（二）对偶和SVM

4.4 对偶问题

对于有约束的优化问题。约束优化问题的一般形式为：

$$\begin{array} {l} minimize & f_0(x)\\ subject. to & f_i(x)\le 0 \quad for i=1,2,...,m\\ &h_i(x)=0 \quad for i=1,2,...,p \end{array}$$

拉格朗日函数

合并目标函数与约束条件。

$L(x,\lambda,v)=f_0(x)+\sum_{i=1}^m\lambda _if_i(x)+\sum_{i=1}^pv_ih_i(x)$

其中，主变量为x，对偶变量为$\mathbb{\lambda \ge 0,v}$

经过这种定义，一般约束问题转换为以下主问题：

$p^*=min_x(max_{\lambda,v}L(x,\lambda,v))$

因为，$max_{\lambda,v}L(x,\lambda,v)=f_0(x)+max_{\lambda,v}(\lambda^Tf(x)+v^Th(x))$ ，

• 当x在可行域内时，$v^Th(x) = 0$ ，$\lambda^Tf(x) \le 0$ 的最大值为0，因此上式$max_{\lambda,v}L(x,\lambda,v)=f_0(x)$
• 当x不在可行域，在定义域D内时，如果$h_i(x) \ne 0$ ，可以令对应的$v_i=\infty$ ,从而$max_{\lambda,v}L(x,\lambda,v)=\infty$ ，即$p^*=\infty$ ，该问题不可行。如果$f_i(x) \ge 0$ ,也可以令对应的$\lambda_i=\infty$ ，从而$max_{\lambda,v}L(x,\lambda,v)=\infty$ ，即$p^*=\infty$ ，该问题不可行。

也就是，x在可行域时，主问题与原约束问题等价。当x不在可行域时，主问题返回$p^*=\infty$ ，原问题不可行。综上，主问题与原问题等价。

对偶函数

定义对偶函数为：

$g(\lambda,v)=min_{x \in D}(L(x,\lambda,v))=min_{x \in D}(f_0(x)+f(x)^T\lambda+h(x)^Tv)$

括号里的函数$\theta(\lambda,v)=(f_0(x)+f(x)^T\lambda+h(x)^Tv)$ 可以看作是$\lambda,v$ 的仿射函数（$a^Tx+b$） ，仿射函数是既凸且凹的。这里不妨认为是凹函数。根据凸函数的逐点最大性质，可以得到凹函数的逐点最小函数是凹函数。$g(\lambda,v)$ 是$\theta(\lambda,v)$ 函数的逐点下确界，因此$g(\lambda,v)$ 是凹函数 （与原函数的凹凸性质无关）。

注意，这里的x是属于定义域的。

对偶函数提供了最优值的下界，证明如下：

如果$\tilde x$ 是一个可行点，则

$$\begin{align} g(\lambda,v)=min_{x \in D}L(x,\lambda,v) & \le L(\tilde x,\lambda,v)\\ &=f_0(\tilde x)+\lambda^Tf(\tilde x)+v^Th(\tilde x)\\ &\le f_0(\tilde x) \end{align}$$
因此，当 $\tilde x$ 取最优解时， $g(\lambda,v) \le f_0(x^*)=p^*$

对偶问题

定义对偶问题为：

maximumsubject.tog(λ,v)λi≥0