Karush-Kuhn-Tucker条件

1. Lagrange算子和对偶

给定最小化问题
$$\underset{x\in {\mathbf{R}}^n}{\min }f(x),\text{ subject to }h(x)\le 0,l(x)=0$$为了处理简单同时更便于洞察到问题本质，这里只假定存在单个限制函数。
定义 Lagrange对偶函数 为:
g ( u , v ) = min ⁡ x ∈ R n L ( x , u , v ) = min ⁡ x ∈ R n { f ( x ) + u h ( x ) + v l ( x ) } g(u,v)=\mathop{\min}\limits_{x\in\mathbf{R}^n}L(x,u,v)=\mathop{\min}\limits_{x\in\mathbf{R}^n}\{f(x)+uh(x)+vl(x)\} g(u,v)=x∈Rnmin​L(x,u,v)=x∈Rnmin​{f(x)+uh(x)+vl(x)} 则原问题的对偶问题是
$$\underset{u,v}{\max }g(u,v),\text{ subject to }u\ge 0,v\ge 0$$ 性质：

(1) 对偶问题是凸问题（也就是说，不管原函数 $f$ 是否为凸函数，对偶函数 $g$ 都是凸函数）；

(2) 弱对偶：假设 $f^{\ast }$ 和 $g^{\ast }$ 分别是原问题和对偶问题的最优值，则 $g^{\ast }\le f^{\ast }$。

事实上，假设 $(u^{\ast },v^{\ast })$ 是对偶问题的最优解，则 $$g^{\ast }=g(u^{\ast },v^{\ast })=\underset{x\in {\mathbf{R}}^n}{\min }L(x,u^{\ast },v^{\ast })\le \underset{x\in {\mathbf{R}}^n}{\min }f(x)=f^{\ast }$$ 其中的 $\le$ 是由于原问题的限制条件。

(3) 强对偶：假设原问题是凸问题，且存在 strictly feasible point, 也就是说存在 $x^{\prime }$ 使得 $h(x^{\prime })<0,l(x^{\prime })=0$，则 $f^{\ast }=g^{\ast }$。 如何证明???

(4) 给定原问题的可行点 $x$ 和对偶问题的可行点 $u,v$，定义对偶间距(duality gap)为：$$D(x,u,v)=f(x)-g(u,v)$$ 如果 $D(x,u,v)=0$，则 $x$ 是原问题的最优解，$u,v$ 是对偶问题的最优解。

Proof. 因为 $g^{\ast }\le f^{\ast }$，所以 $f(x)-f^{\ast }\le f(x)-g^{\ast }\le f(x)-g(u,v)=D(x,u,v)$，进而 $f(x)=f^{\ast },g(u,v)=g^{\ast }$。 $\square$

Remark. 对偶间距 $D(x,u,v)$ 可用于优化收敛算法：如果 $D(x,u,v)<ϵ$，则 $f(x)-f^{\ast }<ϵ$。

2. KKT条件

这里我们用一般的形式
$$\underset{x\in {\mathbf{R}}^n}{\min }f(x)$$$$\text{subject to}{h}_i(x)\le 0,i=1,\cdots ,s$$$$l_j(x)=0,j=1,\cdots ,t$$ 定义 Lagrange函数:
$$\mathcal{L}(x,u,v)=f(x)+u^{T}h(x)+v^{T}l(x)$$ 这里 $u\in {\mathbf{R}}_{+}^s,v\in {\mathbf{R}}_{+}^t,h=(h_1,\cdots ,h_s),l=(l_1,\cdots ,l_t).$

定理. $x^{\ast }$ 是原问题的最优解，当且仅当存在唯一的 $u^{\ast },v^{\ast }$，使得 KKT条件成立：

• stationarity: ${\nabla }_x\mathcal{L}(x^{\ast },u^{\ast },v^{\ast })=0$
• complementary slackness: $u_i{h}_i(x^{\ast })=0$
• primal feasiblity: $h_i(x^{\ast })\le 0,l_j(x^{\ast })=0$
• dual feasiblity: $u_i\ge 0$

Example. P8 in Robert P. Rooderkerk, Harald J. van Heerde, Robust Optimization of the 0-1 Knapsack Problem: Balancing Risk and Return in Assortment Optimization, European Journal of Operational Research.
$({\text{RAO}}_{\text{Robust}})$ $$\underset{x}{\max }\underset{p\in U}{\min }\sum _{k=1}^n{p}_k{x}_k$$ subject to  ∑ k = 1 n w k x k ≤ c , &ThickSpace; x k ∈ { 0 , 1 } , &ThickSpace;&ThickSpace; k = 1 , ⋯ &ThinSpace; , n \text{subject to }\qquad \mathop{\sum}\limits_{k=1}^{n}w_kx_k\leq c, \;x_k\in\{0,1\},\;\;k=1,\cdots,n subject to k=1∑n​wk​xk​≤c,xk​∈{0,1},k=1,⋯,n with the uncertertainty set defined as follows: $$U=\left\{p|(p-\bar{p}{)}^T{\Theta }^{-1}(p-\bar{p})\le r^2\right\}$$ where $\Theta$ is a symmetric positive definite matrix with elements ${\theta }_{k{k}^{\prime }}$. Then $({\text{RAO}}_{\text{Robust}})$ can be rewrite as follows: $$\underset{x}{\max }\sum _{k=0}^n{\bar{p}}_k{x}_k-r\sqrt{\sum _{k=1}^n\sum _{k^{\prime }=1}^n{\theta }_{k{k}^{\prime }}{x}_k{x}_{k^{\prime }}}$$ subject to  ∑ k = 1 n w k x k ≤ c , &ThickSpace; x k ∈ { 0 , 1 } , &ThickSpace;&ThickSpace; k = 1 , ⋯ &ThinSpace; , n \text{subject to }\qquad \mathop{\sum}\limits_{k=1}^{n}w_kx_k\leq c, \;x_k\in\{0,1\},\;\;k=1,\cdots,n subject to k=1∑n​wk​xk​≤c,xk​∈{0,1},k=1,⋯,n Proof. We only need to consider the pertubation part $\underset{p\in U}{\min }\sum _{k=1}^n{\tilde{p}}_k{x}_k$, define $$f(\tilde{p})={\tilde{p}}^{T}x,h(\tilde{p})={\tilde{p}}^T{\Theta }^{-1}\tilde{p}-r^2$$ and then Lagrange: $$\mathcal{L}(\tilde{p},u)={\tilde{p}}^{T}x+u\left({\tilde{p}}^T{\Theta }^{-1}\tilde{p}-r^2\right)$$ Using the KKT conditions, if ${\tilde{p}}^{\ast },u^{\ast }$ is the optimal solutions, we have
$${\nabla }_{\tilde{p}}\mathcal{L}({\tilde{p}}^{\ast },u^{\ast })=x+2u^{\ast }{\Theta }^{-1}{\tilde{p}}^{\ast }=0\text{\hspace{1em}(1)}$$ $${{\tilde{p}}^{\ast }}^T{\Theta }^{-1}{\tilde{p}}^{\ast }=r^2\text{\hspace{1em}(2)}$$ From (1), we conclude ${\tilde{p}}^{\ast }=-\frac{1}{2u^{\ast }}\Theta x$, together with (2) we get $\frac{1}{2u^{\ast }}=\sqrt{\frac{r^2}{x^T\Theta x}}$, so
$$\underset{p\in U}{\min }\sum _{k=1}^n{\tilde{p}}_k{x}_k=x^T{\tilde{p}}^{\ast }=-\sqrt{\frac{r^2}{x^T\Theta x}}{x}^T\Theta x=-r\sqrt{x^T\Theta x}$$ i.e. $$\underset{p\in U}{\min }\sum _{k=1}^n{p}_k{x}_k=\sum _{k=0}^n{\bar{p}}_k{x}_k-r\sqrt{\sum _{k=1}^n\sum _{k^{\prime }=1}^n{\theta }_{k{k}^{\prime }}{x}_k{x}_{k^{\prime }}}.\square$$