优化方法：原问题和拉格朗日对偶问题（primal-dual）

本文主要讲解有关原问题和拉格朗日对偶问题，以及它们之间的关系，从而引出弱对偶性和强对偶性以及 KKT 条件和 Slater 条件。

原问题

优化问题一般都可以写为下面的形式：
$$\min f_0(x),x\in R^n$$

$$s.t.f_i(x)\le 0,i=1,2,...,m$$

$$h_j(x)=0,j=1,2,...,p$$

以上形式被成为原问题，即求解一个满足 m 个不等式约束和 p 个等式约束的函数 $f_0(x)$ 的最小值。实际上我们并不关心最小值是什么，而是关心最小值在 x 是什么的时候取得。

上述是一般的优化问题，而凸优化问题在以上形式的基础上多了几个限制条件：1. $f_i(x)$ 为凸函数 2. $h_j(x)$ 为仿射函数。将一般的优化问题转化为凸优化问题的好处是凸优化只有一个极小值点，也就是说凸优化问题的局部最优解即全局最优解。下面的讨论如果不加以说明都是针对一般的优化问题来说的。

拉格朗日函数

解决带约束的条件的优化问题的一般解决办法是拉格朗日乘子法，也就是先写出拉格朗日函数，再让拉氏函数对 x 求导得到导数为 0 的点，将这些点带入原函数，则其中的最大值即为原函数的最大值，最小值即为原函数的最小值。上述凸优化问题的拉氏函数为：
$$L(x,u,v)=f_0(x)+\sum _{i=1}^m{u}_i{f}_i(x)+\sum _{j=1}^p{v}_j{h}_j(x)$$
其中 $u_i\ge 0$，$v_j\in R$，这是因为在可行域内，因为 $f_i(x)\le 0$，所以当 $u_i\ge 0$ 时， ${\sum }_{i=1}^m{u}_i{f}_i(x)$ 的最大值为 0；因为 $h_j(x)=0$，所以 ${\sum }_{j=1}^p{v}_j{h}_j(x)$ 恒为0，$v_j$ 可以取任意值。这样就保证了 $L(x,u,v)$ 的最大值为原函数 $f_0(x)$ ，即 ${\max }_{u,v}L(x,u,v)=f_0(x)$。

对于固定的 x 来说，拉氏函数 $L(x,u,v)$ 为 $u$ 和 v 的仿射函数。

拉格朗日对偶函数

由此一来，就把原来的求解带约束条件的原函数转换为了不带约束条件的拉格朗日函数。求解 ${\min }_x{f}_0(x)$ 就等价于求解 ${\min }_x{\max }_{u,v}L(x,u,v)$。但是该式子并不容易求解，所以引入了拉格朗日对偶函数（注意不是对偶问题），拉格朗日对偶函数就是拉格朗日函数关于 x 取最小值，即：
$$g(u,v)=\underset{x\in D}{\inf }L(x,u,v)=\underset{x\in D}{\inf }[f_0(x)+\sum _{i=1}^m{u}_i{f}_i(x)+\sum _{j=1}^p{v}_j{h}_j(x)]$$
其中 ${\inf }_{x\in D}$ 表示函数逐点对 x 求下确界，也就是对任意的 $u$ 和 v 求出一个使得 $L(x,u,v)$ 最小的 x 。当拉氏函数没有下确界时，定义下确界为 $-\infty$，即 $g(u,v)=-\infty$； D 是可行域。拉格朗日对偶函数是一个凹函数，也就是说它存在一个唯一的极大值点。

拉氏对偶函数为凹函数证明

先来感性的看一下这个问题，因为是拉氏对偶函数是关于 u 和 v 的仿射函数，所以可以用下面两张示意图表示对 x 逐点取最小值的结果：

上图是随便画的多个仿射函数，对其逐点取最小值得到下图：

可以发现结果是一个凹函数。

拉氏对偶函数和原函数的关系

因为 ${\min }_x{f}_0(x)={\min }_x{\max }_{u,v}L(x,u,v)\ge {\max }_{u,v}{\min }_{x}L(x,u,v)=ma{x}_{u,v}g(u,v)$，所以可以用拉格朗日对偶的最大值去逼近原函数的最小值。下面来证明一下上面式子的正确性：

因为任何函数都不大于其对某个变量求最大值，故：
$$f(x,y)\le \underset{x}{\max }f(x,y)$$
上式两边对 y 求最小值得：
$$\underset{y}{\min }f(x,y)\le \underset{y}{\min }\underset{x}{\max }f(x,y)$$
上式中不等式的前面是一个关于 x 的函数，不妨记为 G(x)，不等式后面是一个定值，不妨记为 A，所以说 $G(x)\le A$，所以 G(x) 的最大值也不大于 A：
$$\underset{x}{\max }\underset{y}{\min }f(x,y)\le \underset{y}{\min }\underset{x}{\max }f(x,y)$$
得证。

弱对偶和强对偶

我们用 $p^{\ast }$ 表示原问题的最优解，即 $p^{\ast }={\min }_x{f}_0(x)$；用 $d^{\ast }$ 表示拉氏对偶函数的最优解，即 $d^{\ast }={\max }_{u,v}g(u,v)$。并定义原问题的最优解与拉氏对偶问题的最优解之间的差值为 对偶间隙（dual gap），即 $p^{\ast }-d^{\ast }$。

前面我们已经证明了原问题的最优解大于等于对偶问题的最优解，即$p^{\ast }\ge d^{\ast }$，这个性质被称作 弱对偶性 ，也可以表示为对偶间隙大于等于 0，即 $p^{\ast }-d^{\ast }\ge 0$。即使当 $p^{\ast }$ 和 $d^{\ast }$ 无限时，弱对偶性仍然成立。如果原问题无下界，则对偶问题也无下界；如果对偶问题无上界，则原问题也无上界，即原问题不可行。

如果原问题的最优解和拉氏对偶问题的最优解相等，也就是对偶间隙为 0，则 强对偶性 成立。

一般情况下强对偶性不成立，但是如果原问题是凸优化问题，即原函数和不等式约束 $f_i(x)$ 为凸函数，而等式约束 $h_j(x)$ 为仿射函数，则强对偶性通常（但不总是）成立。而强对偶性成立的条件一般被称为 约束准则。下面主要讲解两个约束准则—— KKT 条件 和 Slater 条件。

KKT 条件

之前证明了我们可以用拉格朗日对偶的最大值去逼近原函数的最小值的思路是正确的，但是什么时候两者的最大值和最小值相等呢？

首先假设函数 $f_0(x),...,f_m(x),h_1(x),...,h_p(x)$ 都可微，但并不假设这些函数为凸函数，则拉氏对偶函数：
$$g(u^{\ast },v^{\ast })=\underset{x}{\inf }[f_0(x)+\sum _{i=1}^m{u}_i^{\ast }{f}_i(x)+\sum _{j=1}^p{v}_j^{\ast }{h}_j(x)]$$
因为一个函数的下确界（最小值）不大于函数本身，故：
$$\le f_0(x^{\ast })+\sum _{i=1}^m{u}_i^{\ast }{f}_i(x^{\ast })+\sum _{j=1}^p{v}_j^{\ast }{h}_j(x^{\ast })$$
又因为后两项的最大值为 0，故：
$$\le f_0(x^{\ast })$$
上面三式中，$u^{\ast }$、$v^{\ast }$ 和 $x^{\ast }$ 分别是拉格朗日对偶函数和原函数的最优解。所以说要想让拉格朗日对偶函数的最大值和原函数最小值相等，需要让上面三式中的小于等于号全部取等号。

因为拉格朗日函数在 $x^{\ast }$ 处取得极小值，因此拉氏函数在 $x^{\ast }$ 处的导数为 0 。所以第一个 $\le$ 取等号的条件是拉氏函数对 $x^{\ast }$ 的偏导为 0，即：
$$\nabla f_0(x^{\ast })+\sum _{i=1}^m{u}_i^{\ast }\nabla f_i(x)+\sum _{j=1}^p{v}_j^{\ast }\nabla h_j(x)=0条件(1)$$
第二个 $\le$ 取等号的条件是 ${\sum }_{i=1}^m{u}_i^{\ast }{f}_i(x^{\ast })$ 和 ${\sum }_{j=1}^p{v}_j^{\ast }{h}_j(x^{\ast })$ 全部为 0，前面说了，后者恒等于 0，而前者为 0 的条件是：
$$\sum _{i=1}^m{u}_i^{\ast }{f}_i(x^{\ast })=0$$
但是因为在可行域内，以上求和项的每一项都是非正的，因此以上条件等价于：
$$u_i^{\ast }{f}_i(x^{\ast })=0条件(2)$$
以上 2 个约束条件，再加上凸优化问题自身的三个约束条件就得到了著名的 KKT 条件，和 KMP 算法的名称类似，所谓的 KKT 条件的命名其实是三位科学家名字的英文首字母的组合，KKT 条件即：
$$f_i(x^{\ast })\le 0,i=1,...,m$$

$$h_i(x^{\ast })=0,i=1,...,p$$

$$u_i^{\ast }\ge 0,i=1,...,m$$

$$\nabla f_0(x^{\ast })+\sum _{i=1}^m{u}_i^{\ast }\nabla f_i(x)+\sum _{j=1}^p{v}_j^{\ast }\nabla h_j(x)=0$$

$$u_i^{\ast }{f}_i(x^{\ast })=0$$

---

KKT 条件中的条件 (2) $u_i^{\ast }{f}_i(x^{\ast })=0$ 也被成为 互补松弛性，我们可以将互补松弛条件等价地改写为：
$$u_i^{\ast }>0\Rightarrow f_i(x^{\ast })=0$$
或者：
$$f_i(x^{\ast })<0\Rightarrow u_i^{\ast }=0$$
这是因为在可行域内有 $u_i^{\ast }\ge 0$ 并且 $f_i(x^{\ast })\le 0$。

Slater 条件

如果原始问题为凸优化问题，并且存在一点 x 使得所有的约束条件都小于 0，即：
$$f_i(x)<0,i=1,...,m$$
则强对偶性成立。

上述条件就是所谓的 Slater 条件，而满足上述条件的点被称为 严格可行，这是因为不等式约束严格成立。

当不等式约束函数 $f_i(x)$ 中有一些函数是仿射函数时，Slater 条件可以进一步改进。我们假设前 k 个不等式约束函数为仿射函数，则强对偶性成立的条件（即改进后的 Slater 条件）为：存在一点 x 使得前 k 个不等式约束函数小于等于 0，而其他不等式约束函数小于 0，即
$$f_i(x)\le 0,i=1,...,k$$

$$f_i(x)<0,i=k+1,...,m$$

换句话说，仿射函数不等式不需要严格成立。