凸限制下的凸优化问题(一)

$\quad\quad$本文主要介绍在凸限制下的凸优化问题。我们将这个问题记为$Problem(P)$，描述如下：

$$min f_0(x) 满足如下条件\\ \begin{cases} f_i(x) \leq 0, \forall i \in I \\ g_i(x) \leq 0, \forall i \in J \\ g_i(x)=0,\forall i \in K \end{cases}$$
$\quad\quad$其中 $f_0:R^n \rightarrow R \bigcup \{+\infty \}$是一个凸函数, $I,J,K$是有限集，当然也可能是空集。 $f_i$是凸的，非仿射函数， $g_i$是一个仿射函数。

$\large\textbf {1.次微商，次梯度}$

$\quad\quad$在解决这个问题之前我们需要次梯度，次微商的概念。令$f$为$R^n$上的凸函数，如果向量x^*满足

$$f(z) \geq f(x)+ x^*(z-x) ,\forall z \in R^n$$ 那么 $x^*$为 $f$的次梯度，所有在$x$处的次梯度称为 $f$在$x$的 次微商，记为 $\partial f(x)$
我们需要解释一下次梯度的概念。如果一个函数在某个点处是可微的，那么它在这个点处存在唯一的切平面（原因是梯度的唯一），使得函数图像都是在这个切平面之上的，这里的在切平面之上的意思就是
$$f(z) \geq f(x)+ x^*(z-x) ,\forall z \in R^n$$ ，其中左面就是经过这个点的切平面。针对凸函数，有些点是不可微的，但是我们仍然可以通过这个点做一个平面，使得这个函数的图像在这个平面之上。这样的平面是不唯一的。我们把所有的符合这样性质的平面的法向量收集起来，就是次梯度。
$\large\textbf {2.KKT条件}$

$\quad\quad$我们称$\bar x,(\lambda_i)_{i \in I},(\mu_i)_{i \in J \bigcup K}$满足$Problem (p)的\textbf{KKT条件}$，如果它们满足如下四个条件：

$$(1)\forall i \in I ,\lambda_i \geq0, f_i(\bar x)\leq0,\lambda_i f_i(\bar x)=0\\ (2)\forall i \in J,\mu \geq0,g_i(\bar x) \leq 0,\mu_i g_i(\bar x)=0 \\(3) \forall i \in K, g_i(\bar x)=0 \\(4)0 \in \partial f_0(\bar x)+ \sum_{i \in I}\lambda \partial f_i(\bar x)+ \sum_{i \in J \bigcup K}\mu_i \{\nabla g_i(\bar x)\}+\partial \delta_C(\bar x)$$
$\quad\quad KKT$条件的前三个是比较容易理解的，关键是第四个 $f_0,f_i$不一定是可微的，所以我们用次微商，但是由于 $g_i$是仿射函数，所以是可微的，用它的梯度表示。最后一项的作用保证 $\bar x$在 $Problem (P)$的定义域C内， $\delta_C(x)=0$如果 $x \in C$,否则为无穷大。
$\quad\quad$如果 $\bar x,(\lambda_i)_{i \in I},(\mu_i)_{i \in J \bigcup K}$满足 $KKT$条件，那么 $\bar x$为 $Problem (P)$的解。

$\large\textbf {3.Problem(P)的拉格朗日函数}$

$\quad\quad$根据KKT条件的最后一句话，我们只需找到满足KKT
条件的$\bar x,(\lambda_i)_{i \in I},(\mu_i)_{i \in J \bigcup K}$便可。接下来我们就用拉格朗日函数来解决这个问题。
(Problem(P)的拉格朗日函数)$L: R^p_+\times R^q_+ \times R^{(r-q)} \times R^n \leftarrow R \bigcup \{+\infty\}$,它的自变量为$(\lambda,\mu,x)=((\lambda_i)_{i \in I},(\mu_i)_{i \in J},(\mu_i)_{i \in K},x)$.

$L(\lambda,\mu,x)=f_0(x)+\sum_{i \in I}(\lambda_i f_i)(x)+\sum_{i \in J}\mu g_i(x)+\sum_{i \in K}\mu g_i(x)$
我们称$(\bar \lambda,\bar \mu,\bar x)$为L的鞍点，如果$\forall (\lambda,\mu) \in R^p_+\times R^q_+ \times R^{(r-q)},\forall x \in R^n$

$$L(\lambda,\mu,\bar x) \leq L(\bar \lambda,\bar \mu,\bar x) \leq L(\bar \lambda,\bar \mu,x)$$

$\quad\quad$那么我们给出拉格朗日函数和$Problem (P)$之间的关系。如果$(\bar \lambda,\bar \mu,\bar x)$为L的鞍点，那么$\bar x$为$Problem (P)$的解,$(\bar \lambda,\bar \mu)$是KKT参数。

---

$\quad\quad$我们通常遇到的凸优化问题并非像$Problem (P)$那样，它的一个变形如下，我们称为$P_{\alpha,\beta}$问题.

$$min f(x) 满足如下条件\\ \begin{cases} f_i(x) \geq \alpha_i ,\forall i \in I \\ g_i(x)=\beta_i ,\forall i \in K\\ x \in R^n \end{cases}$$
其中 $f$和f_i为凸函数，$g_i$为线性函数， $f_i$也可以是线性函数。

$\large\textbf {1.值函数}$

$$V(\alpha,\beta)=inf\{f(x)|x \in R^n,f_i(x) \leq \alpha_i ,\forall i \in I;g_i(x)=\beta_i ,\forall i \in J\}$$
其中 $\alpha=(\alpha_i)_{i \in I} \in R^p, \beta=(\beta_i)_{i \in K} \in R^r$

$\large\textbf {2.拉格朗日函数}$

$\quad\quad$求解方法仍然是拉格朗日乘子法。令$\bar x$满足$f_i(\bar x) \geq \alpha_i ,\forall i \in I ,g_i(\bar x)=\beta_i$ ,$\forall i \in K$,我们称$P_{\alpha,\beta}在\bar x处的乘子是(\lambda,\mu) \in R^p \times R^r$满足$\lambda \geq 0 ,\lambda_i (f_i(\bar x)-\alpha_i)$ $=0, \forall i \in I$

$$\psi(x)=f(x)+\sum_{i \in I}\lambda_i(f(x)-\alpha_i)+\sum_{i \in K} \mu_i(g_i(x)-\beta_i)+\delta_C(x)$$ 在 $\bar x$处达到最小值。

总结为：如果$\bar x$满足$f_i(\bar x) \leq \alpha_i,g_i(\bar x)=\beta_i$,如果$P_{\alpha,\beta}$在$\bar x$有一个拉格朗日乘子，那么$\bar x$为$P_{\alpha,\beta}$的解.
同时，我们要明白如果$\bar x$为$P_{\alpha,\beta}的解，那么在\bar x处的乘子等于-\partial V(\alpha,\beta)$