Wasserstain概率距离

Wasserstein 距离 起源于最优传输理论（维拉尼获菲尔兹奖的那个领域），又叫 Kantorovich-Rubinstein distance。

对于离散概率分布，Wasserstein 距离又称为“推土机距离”（Earth Mover’s Distance）。如果我们把这些分布想象成一定数量的不同土堆，那么EMD就是将一个堆转换成另一个堆所需的最小总工作量。所需要的工作量就是一块土中的土量乘以它被移动的距离。假设相应的离散分布分别为 $P_r$ 和 $P_{\theta }$，每个都有 $l$ 个可能的状态 $x$ 和 $y$，并以两个任意分布为例。

计算EMD本身就是一个优化问题：将土堆转移有无数种方法，我们需要找到其中最优的方法。我们的目标就是寻找最优的 $\gamma (x,y)$，它可以直观地理解为从 $x$ 移到 $y$ 的土量。一个有效的运输计划必须满足下面的约束：
$$\sum _x\gamma (x,y)=P_r(y)$$ $$\sum _y\gamma (x,y)=P_{\theta }(x)$$ 也就是说 $\gamma$ 是一个联合概率分布并且 $\gamma \in \prod (P_r,P_{\theta })$，其中 $\prod (P_r,P_{\theta })$ 是所有边缘分布为$P_r$和$P_{\theta }$的概率分布组成的集合。为了计算 EMD，需要将 $\gamma$ 的每个值乘以 $x$ 和 $y$ 的欧氏距离。因此，EMD可以定义为:
$$\text{EMD}(P_r,P_{\theta })=\underset{\gamma \in \prod }{\inf }\sum _{x,y}\gamma (x,y)\parallel x-y\parallel =\underset{\gamma \in \prod }{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }\parallel x-y\parallel$$
令 Γ = { γ ( x , y ) } ∈ R l × l \mathbf{\Gamma}=\{\gamma(x,y)\}\in\mathbb{R}^{l\times l} Γ={γ(x,y)}∈Rl×l 和 D = { ∥ x − y ∥ } ∈ R l × l \mathbf{D} = \{ \parallel x-y \parallel \}\in\mathbb{R}^{l\times l} D={∥x−y∥}∈Rl×l，则上面的定义可以写为 $$\text{EMD}(P_r,P_{\theta })=\underset{\gamma \in \prod }{\inf }⟨\mathbf{D},\mathbf{\Gamma }⟩$$ 其中 $⟨\cdot ⟩$ 是 Frobenius 内积（对应元素的乘积和）。

参考文献

从Wasserstein距离、对偶理论到WGAN

Wasserstein GAN and the Kantorovich-Rubinstein Duality