Wasserstein 距离 起源于最优传输理论(维拉尼获菲尔兹奖的那个领域),又叫 Kantorovich-Rubinstein distance。
对于离散概率分布,Wasserstein 距离又称为“推土机距离”(Earth Mover’s Distance)。如果我们把这些分布想象成一定数量的不同土堆,那么EMD就是将一个堆转换成另一个堆所需的最小总工作量。所需要的工作量就是一块土中的土量乘以它被移动的距离。假设相应的离散分布分别为 P r P_r Pr 和 P θ P_{\theta} Pθ,每个都有 l l l 个可能的状态 x x x 和 y y y,并以两个任意分布为例。
计算EMD本身就是一个优化问题:将土堆转移有无数种方法,我们需要找到其中最优的方法。我们的目标就是寻找最优的
γ
(
x
,
y
)
\gamma(x,y)
γ(x,y),它可以直观地理解为从
x
x
x 移到
y
y
y 的土量。一个有效的运输计划必须满足下面的约束:
∑
x
γ
(
x
,
y
)
=
P
r
(
y
)
\mathop{\sum}\limits_x \gamma(x,y)=P_r(y)
x∑γ(x,y)=Pr(y)
∑
y
γ
(
x
,
y
)
=
P
θ
(
x
)
\mathop{\sum}\limits_y \gamma(x,y)=P_{\theta}(x)
y∑γ(x,y)=Pθ(x) 也就是说
γ
\gamma
γ 是一个联合概率分布并且
γ
∈
∏
(
P
r
,
P
θ
)
\gamma\in\prod(P_r,P_{\theta})
γ∈∏(Pr,Pθ),其中
∏
(
P
r
,
P
θ
)
\prod(P_r,P_{\theta})
∏(Pr,Pθ) 是所有边缘分布为
P
r
P_r
Pr和
P
θ
P_{\theta}
Pθ的概率分布组成的集合。为了计算 EMD,需要将
γ
\gamma
γ 的每个值乘以
x
x
x 和
y
y
y 的欧氏距离。因此,EMD可以定义为:
EMD
(
P
r
,
P
θ
)
=
inf
γ
∈
∏
∑
x
,
y
γ
(
x
,
y
)
∥
x
−
y
∥
=
inf
γ
∈
∏
E
(
x
,
y
)
∼
γ
∥
x
−
y
∥
\text{EMD}(P_r,P_{\theta})=\inf_{\gamma\in\prod} \sum_{x,y}\gamma(x,y) \parallel x-y \parallel = \inf_{\gamma\in\prod} \mathbb{E}_{(x,y)\sim\gamma}\parallel x-y \parallel
EMD(Pr,Pθ)=γ∈∏infx,y∑γ(x,y)∥x−y∥=γ∈∏infE(x,y)∼γ∥x−y∥
令
Γ
=
{
γ
(
x
,
y
)
}
∈
R
l
×
l
\mathbf{\Gamma}=\{\gamma(x,y)\}\in\mathbb{R}^{l\times l}
Γ={γ(x,y)}∈Rl×l 和
D
=
{
∥
x
−
y
∥
}
∈
R
l
×
l
\mathbf{D} = \{ \parallel x-y \parallel \}\in\mathbb{R}^{l\times l}
D={∥x−y∥}∈Rl×l,则上面的定义可以写为
EMD
(
P
r
,
P
θ
)
=
inf
γ
∈
∏
⟨
D
,
Γ
⟩
\text{EMD}(P_r,P_{\theta})=\inf_{\gamma\in\prod}\langle\mathbf{D},\mathbf{\Gamma}\rangle
EMD(Pr,Pθ)=γ∈∏inf⟨D,Γ⟩ 其中
⟨
⋅
⟩
\langle \cdot\rangle
⟨⋅⟩ 是 Frobenius 内积(对应元素的乘积和)。