[深度学习] 什么是marginalization

论文中经常看到这样的描述：

Since we marginalize over all possible alignments z corresponding

谷歌翻译显示这个词的意思是“边缘化”，那么在数学中，边缘化到底代表什么操作呢？

首先，边缘化是概率论中的一个概念，它要求对一个变量的可能值求和，以确定另一个变量的边缘贡献。这个定义可能听起来有点抽象，让我们用一个例子来说明这一点。

假设我们对天气如何影响英国人的幸福这一话题感兴趣。我们可以把它写成P(幸福|天气)，即给定天气类型的情况下一个人的幸福水平的概率是多少。

假设我们有测量一个人幸福所需的设备和定义，并记录了一个人所在的英格兰和另一个人所在的苏格兰的天气情况。现在，通常来说苏格兰人比英格兰人更幸福。问题是，人们总是有国籍的，所以在测量中我不能摆脱这个因素。所以我们实际测量的是P(幸福，国家|天气)，即我们同时关注幸福和国家。

边缘化告诉我们，如果我们把所有国家的可能性都加起来，我们可以计算出我们想要的数量(记住，英国是由三个部分组成的:英格兰、苏格兰和威尔士)，即P(幸福，国家=英格兰|天气)+ P(幸福，国家=苏格兰|天气)+ P(幸福，国家=威尔士|天气)。

而就是这样！边缘化告诉我们，只要把一些概率加起来就能得到所需的概率量。一旦我们计算出了答案(它可以是一个单个值或一个分布)，我们就可以得到我们想要的任何属性(推理)。

回到上文的截图，对于同一个输入x，不同的对齐方式z可能得到相同的结果y，因此P(y|x)实际上是由P(y,z| x) 经过边缘化的结果，被边缘的哪个变量就是z。