projection theorem

给定一个非零向量 $\mathbf{x}$, 考虑 内部优化问题( inner optimization problem)：
$$\underset{\mathbf{R}\sim (\mu ,\Sigma )}{\min }E[u(x^{\prime }\mathbf{R})]$$ 其中 $u$ 是效用函数。

显然，对于每个可行的随机变量 $\mathbf{R}\sim (\mu ,\Sigma )$，它对应的投射随机变量(projected random variable) ${\mathbf{r}}_x=x^{\prime }\mathbf{R}$ 的均值为 ${\mu }_x=x^{\prime }\mu$，方差为 ${\sigma }_x^2=x^{\prime }\Sigma x$。因此 ${\mathbf{r}}_x$ 是 $\underset{\mathbf{r}\sim ({\mu }_x,{\sigma }_x^2)}{\min }E[u(\mathbf{r})]$ 的可行解，从而 $$\underset{\mathbf{R}\sim (\mu ,\Sigma )}{\min }E[u(x^{\prime }\mathbf{R})]\ge \underset{\mathbf{r}\sim ({\mu }_x,{\sigma }_x^2)}{\min }E[u(\mathbf{r})]$$

Popescu的文章中证明了，不管 $u$ 取何种效用函数，有：

投射定理. $$\underset{\mathbf{R}\sim (\mu ,\Sigma )}{\min }E[u(x^{\prime }\mathbf{R})]=\underset{\mathbf{r}\sim ({\mu }_x,{\sigma }_x^2)}{\min }E[u(\mathbf{r})]$$

Remark. 这里 $R$ 是个随机向量，$r=x^{\prime }R$ 则变为一个随机值。所以，投射定理本质上就是说 将一个随机向量分布的优化问题投射到随机值分布上去。

Example. [2] 中的定理2：给定 $s_0\in \mathbb{R},\mathbf{s}\in {\mathbb{R}}^n,\mathbf{s}̸=0,\alpha >0$，那么存在 $v_0\in \mathbb{R},\mathbf{v}\in {\mathbb{R}}^n,\mathbf{V}\in {\mathbb{S}}_{+}^n$ 使得下面的约束条件成立
$$v_0+\text{tr}(\mathbf{\Sigma }\mathbf{V})\le \alpha \text{\hspace{1em}(1)}$$ $$\left[\begin{array}{cc}{v}_0-s_0& \frac{(\mathbf{v}-\mathbf{s}{)}^{\prime }}{2}\\ \frac{\mathbf{v}-\mathbf{s}}{2}& \mathbf{V}\end{array}\right]\in {\mathbb{S}}_{+}^n\text{\hspace{1em}(2)}$$ $$\left[\begin{array}{cc}{v}_0& \frac{{\mathbf{v}}^{\prime }}{2}\\ \frac{\mathbf{v}}{2}& \mathbf{V}\end{array}\right]\in {\mathbb{S}}_{+}^n\text{\hspace{1em}(3)}$$ 当且仅当 $${\mathbf{s}}^{\prime }\mathbf{\Sigma }\mathbf{s}\le 4\alpha (\alpha -s_0)\text{\hspace{1em}(4)}$$

此定理的证明，[2] 说可以用投射定理以及其它结果来证明，同时他给出了直接的证明。实际上，在接触到投射定理之前，我已经有了比较类似的直觉，这种直觉（或者说不严格的技巧）本质上就是投射定理。下面我们用这种直觉来处理上面的定理（这种直觉是应用投射定理的很好的途径）。

拉马努金似的证明：（投射定理的本质）令
$$\mathbf{v}=r\mathbf{s},\mathbf{V}=t\mathbf{s}{\mathbf{s}}^{\prime }$$ 其中 $t\ge 0$，这样就将 $\mathbf{v},\mathbf{V}$ 转换为两个实数变量 $r,t$。
这样 (2 ) 变为
$$\left[\begin{array}{cc}{v}_0-s_0& \frac{r-1}{2}{\mathbf{s}}^{\prime }\\ \frac{r-1}{2}\mathbf{s}& t\mathbf{s}{\mathbf{s}}^{\prime }\end{array}\right]\in {\mathbb{S}}_{+}^n$$ 由此可得到
$$\{\begin{array}{l}{v}_0\ge s_0\\ r\ge 1\\ t\ge \frac{(r-1{)}^2}{4(v_0-s_0)}\end{array}\text{\hspace{1em}(5)}$$ 类似地，(3) 变为
$$\left[\begin{array}{cc}{v}_0& \frac{r}{2}{\mathbf{s}}^{\prime }\\ \frac{r}{2}\mathbf{s}& t\mathbf{s}{\mathbf{s}}^{\prime }\end{array}\right]\in {\mathbb{S}}_{+}^n$$ 可推得 $$\{\begin{array}{l}{v}_0\ge 0\\ t\ge \frac{r^2}{4v_0}\end{array}\text{\hspace{1em}(6)}$$ 进而我们有
$$t\ge \frac{1}{4v_0}\ge \frac{1}{4\alpha }\text{\hspace{1em}(7)}$$ 其中第一个不等号由 (5) 和 (6) 可得，第二个不等号由（1）推得。
最后，对（1）做投射可得
$$v_0+t{\mathbf{s}}^{\prime }\Sigma \mathbf{s}\le \alpha$$ 利用 (5) 和 (7) 式即可推出 $${\mathbf{s}}^{\prime }\Sigma \mathbf{s}\le 4\alpha (\alpha -s_0)$$算毕。

Remark. 拉马努金不是帮助我们证明定理的，而是帮助我们发现定理的。

参考文献
[1] Popescu, Ioana. 2007. Robust mean-covariance solutions for stochastic optimization. Operations Research 55(1) 98–112.
[2] Yu Zhang, Roberto Baldacci, Melvyn Sim, Jiafu Tang, Routing optimization with time windows under uncertainty, Math. Program