给定一个非零向量
x
\mathbf{x}
x, 考虑 内部优化问题( inner optimization problem):
min
R
∼
(
μ
,
Σ
)
E
[
u
(
x
′
R
)
]
\mathop{\min}\limits_{\mathbf{R}\sim(\mu,\Sigma)}E[u(x'\mathbf{R})]
R∼(μ,Σ)minE[u(x′R)] 其中
u
u
u 是效用函数。
显然,对于每个可行的随机变量 R ∼ ( μ , Σ ) \mathbf{R}\sim(\mu,\Sigma) R∼(μ,Σ),它对应的投射随机变量(projected random variable) r x = x ′ R \mathbf{r}_x=x'\mathbf{R} rx=x′R 的均值为 μ x = x ′ μ \mu_x=x'\mu μx=x′μ,方差为 σ x 2 = x ′ Σ x \sigma_x^2=x'\Sigma x σx2=x′Σx。因此 r x \mathbf{r}_x rx 是 min r ∼ ( μ x , σ x 2 ) E [ u ( r ) ] \mathop{\min}\limits_{\mathbf{r}\sim(\mu_x,\sigma_x^2)}E[u(\mathbf{r})] r∼(μx,σx2)minE[u(r)] 的可行解,从而 min R ∼ ( μ , Σ ) E [ u ( x ′ R ) ] ≥ min r ∼ ( μ x , σ x 2 ) E [ u ( r ) ] \mathop{\min}\limits_{\mathbf{R}\sim(\mu,\Sigma)}E[u(x'\mathbf{R})]\ge \mathop{\min}\limits_{\mathbf{r}\sim(\mu_x,\sigma_x^2)}E[u(\mathbf{r})] R∼(μ,Σ)minE[u(x′R)]≥r∼(μx,σx2)minE[u(r)]
Popescu的文章中证明了,不管 u u u 取何种效用函数,有:
投射定理. min R ∼ ( μ , Σ ) E [ u ( x ′ R ) ] = min r ∼ ( μ x , σ x 2 ) E [ u ( r ) ] \mathop{\min}\limits_{\mathbf{R}\sim(\mu,\Sigma)}E[u(x'\mathbf{R})] =\mathop{\min}\limits_{\mathbf{r}\sim(\mu_x,\sigma_x^2)}E[u(\mathbf{r})] R∼(μ,Σ)minE[u(x′R)]=r∼(μx,σx2)minE[u(r)]
Remark. 这里 R R R 是个随机向量, r = x ′ R r=x'R r=x′R 则变为一个随机值。所以,投射定理本质上就是说 将一个随机向量分布的优化问题投射到随机值分布上去。
Example. [2] 中的定理2:给定
s
0
∈
R
,
s
∈
R
n
,
s
≠
0
,
α
>
0
s_0\in\mathbb{R}, \mathbf{s}\in\mathbb{R}^n, \mathbf{s}\neq0,\alpha>0
s0∈R,s∈Rn,s̸=0,α>0,那么存在
v
0
∈
R
,
v
∈
R
n
,
V
∈
S
+
n
v_0\in\mathbb{R}, \mathbf{v}\in\mathbb{R}^n, \mathbf{V}\in\mathbb{S}_+^n
v0∈R,v∈Rn,V∈S+n 使得下面的约束条件成立
(1)
v
0
+
tr
(
Σ
V
)
≤
α
  
v_0 + \text{tr}(\mathbf{\Sigma}\mathbf{V})\leq \alpha\qquad\;\tag{1}
v0+tr(ΣV)≤α(1)
(2)
[
v
0
−
s
0
(
v
−
s
)
′
2
v
−
s
2
V
]
∈
S
+
n
\begin{bmatrix} v_0-s_0 & \frac{(\mathbf{v}-\mathbf{s})'}{2} \\ \frac{\mathbf{v}-\mathbf{s}}{2} & \mathbf{V} \end{bmatrix}\in\mathbb{S}_+^n\tag{2}
[v0−s02v−s2(v−s)′V]∈S+n(2)
(3)
[
v
0
v
′
2
v
2
V
]
∈
S
+
n
  
\begin{bmatrix} v_0 & \frac{\mathbf{v}'}{2} \\ \frac{\mathbf{v}}{2} & \mathbf{V} \end{bmatrix}\in\mathbb{S}_+^n\qquad\quad\;\tag{3}
[v02v2v′V]∈S+n(3) 当且仅当
(4)
s
′
Σ
s
≤
4
α
(
α
−
s
0
)
\mathbf{s}'\mathbf{\Sigma}\mathbf{s} \leq 4\alpha(\alpha-s_0)\tag{4}
s′Σs≤4α(α−s0)(4)
此定理的证明,[2] 说可以用投射定理以及其它结果来证明,同时他给出了直接的证明。实际上,在接触到投射定理之前,我已经有了比较类似的直觉,这种直觉(或者说不严格的技巧)本质上就是投射定理。下面我们用这种直觉来处理上面的定理(这种直觉是应用投射定理的很好的途径)。
拉马努金似的证明:(投射定理的本质)令
v
=
r
s
,
V
=
t
 
s
s
′
\mathbf{v}=r\mathbf{s}, \mathbf{V}=t\,\mathbf{s}\mathbf{s}'
v=rs,V=tss′ 其中
t
≥
0
t\ge 0
t≥0,这样就将
v
,
V
\mathbf{v}, \mathbf{V}
v,V 转换为两个实数变量
r
,
t
r,t
r,t。
这样 (2 ) 变为
[
v
0
−
s
0
r
−
1
2
s
′
r
−
1
2
s
t
 
s
s
′
]
∈
S
+
n
\begin{bmatrix} v_0-s_0 & \frac{r-1}{2}\mathbf{s}' \\ \frac{r-1}{2}\mathbf{s} & t\,\mathbf{s}\mathbf{s}' \end{bmatrix}\in\mathbb{S}_+^n
[v0−s02r−1s2r−1s′tss′]∈S+n 由此可得到
(5)
{
v
0
≥
s
0
r
≥
1
t
≥
(
r
−
1
)
2
4
(
v
0
−
s
0
)
\begin{cases} v_0\ge s_0 \\ r\ge 1 \\ t\ge \frac{(r-1)^2}{4(v_0-s_0)} \end{cases} \tag{5}
⎩⎪⎨⎪⎧v0≥s0r≥1t≥4(v0−s0)(r−1)2(5) 类似地,(3) 变为
[
v
0
r
2
s
′
r
2
s
t
 
s
s
′
]
∈
S
+
n
\begin{bmatrix} v_0 & \frac{r}{2}\mathbf{s}' \\ \frac{r}{2}\mathbf{s} & t\,\mathbf{s}\mathbf{s}' \end{bmatrix}\in\mathbb{S}_+^n
[v02rs2rs′tss′]∈S+n 可推得
(6)
{
v
0
≥
0
t
≥
r
2
4
v
0
\begin{cases} v_0\ge 0 \\ t\ge \frac{r^2}{4v_0} \end{cases} \tag{6}
{v0≥0t≥4v0r2(6) 进而我们有
(7)
t
≥
1
4
v
0
≥
1
4
α
t\ge \frac{1}{4 v_0}\ge\frac{1}{4\alpha} \tag{7}
t≥4v01≥4α1(7) 其中第一个不等号由 (5) 和 (6) 可得,第二个不等号由(1)推得。
最后,对(1)做投射可得
v
0
+
t
 
s
′
Σ
s
≤
α
v_0+t\,\mathbf{s}'\Sigma\mathbf{s}\leq\alpha
v0+ts′Σs≤α 利用 (5) 和 (7) 式即可推出
s
′
Σ
s
≤
4
α
(
α
−
s
0
)
\mathbf{s}'\Sigma\mathbf{s}\leq 4\alpha(\alpha-s_0)
s′Σs≤4α(α−s0)算毕。
Remark. 拉马努金不是帮助我们证明定理的,而是帮助我们发现定理的。
参考文献
[1] Popescu, Ioana. 2007. Robust mean-covariance solutions for stochastic optimization. Operations Research 55(1) 98–112.
[2] Yu Zhang, Roberto Baldacci, Melvyn Sim, Jiafu Tang, Routing optimization with time windows under uncertainty, Math. Program