Farkas'Lemma 和 S-Lemma

A Fundamental Question： 给定一个（不）等式，如何寻找其等价形式？

$\bullet$ 对于线性或者一般的凸（不）等式 ，有 Farkas引理

$\bullet$ 对于二次（不）等式 ，则有 S-引理 ------------------- S-Lemma本质上是Hilbert零点定理的特例？

凸锥的对偶的计算

Farkas引理

These results essentially state that a concave inequality is a (logical) consequence of some convex inequalities if and only if it is a nonnegative linear combination of those convex inequalities and an identically true inequality. This is important, since it is relatively easy to check if an inequality is a linear combination of some other inequalities.

定理. (Farkas’ lemma) 假设 $A\in {\mathbb{R}}^{m\times n}$，$b\in {\mathbb{R}}^m$。则 $Ax=b(x\ge 0)$ 有可行解当且仅当 $A^{T}y\le 0\Rightarrow b^{T}y\le 0$。
Proof. 定义一个凸锥 K = { y   ∣   A T y ≤ 0 } \mathcal{K}=\{y\,|\,A^Ty\leq 0\} K={y∣ATy≤0} 它的对偶锥是 K ∗ = { A x   ∣   x ≥ 0 } \mathcal{K}^*=\{Ax\,|\,x\ge 0\} K∗={Ax∣x≥0} 而根据定义有 K ∗ = { b   ∣   b T y ≤ 0 ,    ∀ y ∈ K } \mathcal{K}^*=\{b\,|\,b^Ty\leq 0, \; \forall y\in\mathcal{K}\} K∗={b∣bTy≤0,∀y∈K} 注意到 $Ax=b(x\ge 0)$ 有可行解等价于 $b\in {\mathcal{K}}^{\ast }$，引理即可得证。

定理. (Farkas’ lemma variant) 假设 $A\in {\mathbb{R}}^{m\times n}$，$b\in {\mathbb{R}}^m$。则 $Ax\le b$ 有可行解当且仅当 $Ax=0(x\ge 0)\Rightarrow b^{T}x\ge 0$。

定理. 假设 $K$ 是一个闭凸锥，$K^{\ast }$ 是其对偶，则 $x\in K$ 当且仅当对任意 $y\in K^{\ast }$ 有 $y^{T}x\ge 0$。

定理. (Farkas’ Theorem) 假设 $f,g_1,\cdots ,g_m:{\mathbb{R}}^n\to \mathbb{R}$ 是一组凸函数，$\mathcal{C}\subset {\mathbb{R}}^n$ 是一个凸集，如果 $g_1,\cdots ,g_m$ 满足 Slater 条件，也即，存在 $\mathcal{C}$ 的一个内点 $\bar{x}$ 使得 $g_i(\bar{x})<0,i=1,\cdots ,m$。则下列两组论述等价：
(1) 不等式组
$$f(x)<0$$ $$g_i(x)\le 0,i=1,\cdots ,m$$ $$x\in \mathcal{C}$$ 无解。
(2) 存在 $y_1,\cdots ,y_m\ge 0$，使得对所有的 $x\in \mathcal{C}$ 有
$$f(x)+\sum _{i=1}^m{g}_i(x)\ge 0$$

Proof. 定理的证明主要是基于分离技巧 (separation argument) ，一个关键的事实是：
集合 S = { ( u , v 1 , ⋯ &ThinSpace; , v m ) ∈ R m + 1 : ∃ &ThickSpace; x ∈ R n , f ( x ) &lt; u , g i ( x ) ≤ v i , i = 1 , ⋯ &ThinSpace; , m } S=\{(u,v_1,\cdots,v_m)\in\mathbb{R}^{m+1}:\exist\;x\in\mathbb{R}^n,f(x)&lt;u,g_i(x)\leq v_i, i=1,\cdots,m\} S={(u,v1​,⋯,vm​)∈Rm+1:∃x∈Rn,f(x)<u,gi​(x)≤vi​,i=1,⋯,m} 是一个凸集，并且 (1) 中的不等式组无解当且仅当 $0\notin S$。

关于SDP的Farkas引理，可以参考 Ye 的 Linear Conic Programming 第28页。

S-引理

定理. (S-lemma, Yakubovich) 假设 $f,g:{\mathbb{R}}^n\to \mathbb{R}$ 是二次函数，并且存在 $\bar{x}\in {\mathbb{R}}^n$ 使得 $g(\bar{x})<0$。则下列两个论述等价：
(1) 不等式组
$$f(x)<0$$ $$g(x)\le 0$$ 无解
(2) 存在 $y\ge 0$ 使得对任意 $x\in {\mathbb{R}}^n$，有
$$f(x)+yg(x)\ge 0$$