第十一章 番外 对偶问题

对偶问题（Dual Problem）是优化理论中的一个重要概念，它与原问题（Primal Problem）相对应。在数学优化中，对偶问题是从原问题出发构造出来的一个新的优化问题。对偶问题的主要目的是简化原问题的求解，并且在某些情况下，对偶问题的解可以直接给出原问题的解。下面我们详细解释对偶问题的概念。

原问题

假设我们有一个标准形式的最优化问题（原问题），它可以表示为：
$\begin{array}{rlrlrlrlrl}& \text{minimize}& & f_0(\mathbf{x})& \text{subject to}& & f_i(\mathbf{x})\le 0,i=1,\dots ,m& & & h_i(\mathbf{x})=0,i=1,\dots ,p,\end{array}$
其中 $f_0(\mathbf{x})$ 是目标函数，$f_i(\mathbf{x})$ 是不等式约束函数，$h_i(\mathbf{x})$ 是等式约束函数，$\mathbf{x}$ 是决策变量。

拉格朗日函数

为了构造对偶问题，我们首先定义拉格朗日函数（Lagrangian function）：
$\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu })=f_0(\mathbf{x})+{\sum }_{i=1}m{\lambda }_i{f}_i(\mathbf{x})+{\sum }_{i=1}p{\nu }_i{h}_i(\mathbf{x}),$
其中 $\mathbf{\lambda }=({\lambda }_1,\dots ,{\lambda }_m)$ 和 $\mathbf{\nu }=({\nu }_1,\dots ,{\nu }_p)$ 分别是不等式约束和等式约束的拉格朗日乘子向量。

对偶函数

接下来，我们定义对偶函数（Dual Function）:
$g(\mathbf{\lambda },\mathbf{\nu })={\inf }_{\mathbf{x}}\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu }),$
其中 ${\inf }_{\mathbf{x}}$ 表示在所有可行的 $\mathbf{x}$ 中取最小值。

对偶问题

最终，我们得到的对偶问题（Dual Problem）可以表示为：
$\begin{array}{rlrlrlr}& \text{maximize}& & g(\mathbf{\lambda },\mathbf{\nu })& \text{subject to}& & {\lambda }_i\ge 0,i=1,\dots ,m.\end{array}$

弱对偶性

弱对偶性（Weak Duality）指的是原问题的最优值总是大于等于对偶问题的最优值：
$f\ast \ge g,$_
其中 (f^_) 是原问题的最优值，$g^{\ast }$ 是对偶问题的最优值。

强对偶性

强对偶性（Strong Duality）指的是在一定条件下，原问题和对偶问题的最优值相等：
$f\ast =g\ast ,$
这种情况下，求解对偶问题可以直接给出原问题的解。

应用示例

让我们来看一个具体的例子，假设我们有以下原问题：
$\begin{array}{rlrlrlrlrlrlr}& \text{minimize}& & x_1-4x_2& \text{subject to}& & -x_1+3x_2\le 3& & & x_1+x_2\le 3& & & x_1,x_2\ge 0.\end{array}$
构造拉格朗日函数：
$\mathcal{L}(x_1,x_2,{\lambda }_1,{\lambda }_2)=x_1-4x_2+{\lambda }_1(-x_1+3x_2-3)+{\lambda }_2(x_1+x_2-3).$
对偶函数为：
$g({\lambda }_1,{\lambda }_2)={\inf }_{x_1,x_2}\mathcal{L}(x_1,x_2,{\lambda }_1,{\lambda }_2).$
求解对偶问题：
$\begin{array}{rlrlrlrlrl}& \text{maximize}& & g({\lambda }_1,{\lambda }_2)& \text{subject to}& & {\lambda }_1\ge 0& & & {\lambda }_2\ge 0.\end{array}$

在支持向量机中的应用

在支持向量机（SVM）中，我们通过构造拉格朗日函数来找到最大间隔超平面。原问题可以表示为：
$\begin{array}{rlrlrlr}& \text{minimize}& & \frac{1}{2}|\mathbf{w}{|}^2& \text{subject to}& & y_i({\mathbf{w}}^{\top }{\mathbf{x}}_i+b)\ge 1,i=1,\dots ,n.\end{array}$
通过引入拉格朗日乘子 (\boldsymbol{\alpha})，构造拉格朗日函数，并求解对偶问题：
$\begin{array}{rlrlrlrlrl}& \text{maximize}& & W(\mathbf{\alpha })=\sum _{i=1}n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}n{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\top }\mathbf{x}j& \text{subject to}& & 0\le {\alpha }_i\le C,i=1,\dots ,n& & & \sum {i=1}^n{\alpha }_i{y}_i=0.\end{array}$
对偶问题的解 $\mathbf{\alpha }$ 可以用来计算 $\mathbf{w}$ 和 b，进而得到最大间隔超平面。