混合高斯模型介绍以及应用

1. 单一的高斯模型(Gaussian single model, GSM)

一维形式下的正态分布函数如下所示
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

$\mu$以及${\sigma }^2$是数据分布的均值和方差。对于多维形式$X=(x_1,x_2,\dots ,x_D)$的正态分布函数如下所示
$$f(\text{X})=\frac{1}{\sqrt{(2\pi {)}^D|\Sigma |}}{e}^{-\frac{1}{2}(\text{X}-\mu {)}^T{\Sigma }^{-1}(\text{X}-\mu )}$$

它的一些形式可以在文章深度学习中的一些概率函数分布以及文章数据挖掘中使用到的抽样分布函数找到。

单一的高斯模型有这样的一些缺点，当它模拟具有单一中心点的数据的时候，拟合效果比较好；但是对于多数据中心点的时候，拟合效果就不会有太好的效果。所以这就引出了混合高斯模型。

2. 混合高斯模型(GMM模型)

通过求解多个高斯模型，并通过一定的权重将几个高斯模型融合成一个模型，即最终的混合高斯模型。这个混合高斯模型可以产生这样的统计的样本。假设混合高斯模型是由$N$个高斯模型所组成，那么由全概率公式可以得到
$$P(y|\theta )=\sum _{k=1}^{N}P({\theta }_k)P(y|{\theta }_k)=\sum _{k=1}^N{\pi }_{k}N(y|{\theta }_k)$$

其中${\pi }_k\ge 0,\sum _{k=1}^N{\pi }_k=1$,$N(y|{\theta }_k)$高斯分布密度函数，${\theta }_k=({\mu }_k,{\sigma }_k^2)$。以下的分布称为第$k$个高斯分布模型：
$$N(y|{\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}{e}^{-\frac{(x-{\mu }_k{)}^2}{2{\sigma }_k^2}}$$

2.1 混合高斯模型直观上的理解和描述

笔者在下图中举例了几种单高斯模型和混合高斯模型的结果。
由图可以得到，对于混合高斯模型$P(y,\theta )=\sum _{k=1}^N{\pi }_{k}N(y|{\theta }_k),{\theta }_k=({\mu }_k,{\sigma }_k^2)$中出现的峰值对应的横坐标即为${\mu }_k$。所以说，它在另一方面有更复杂更多变的概率密度函数曲线，混合高斯模型的概率密度函数曲线可以是任意形状的非线性函数。
接下来我们来看另一种二维图形平面上的混合高斯分布图。
这里选择了四个中心点的坐标$(6,3),(-2,5),(-7,-6),(7,-6)$,然后将其赋值不同的权重值，形成如图所示的等高线图。

由上述两个图片可以看出，多个混合高斯分布函数已经将函数描述非常复杂，通过调整混合高斯分布的系数$(\pi ,\mu ,\Sigma )$，可以使得图中的概率密度曲面去拟合任意的三维曲面，从而采样生成所需要的数据样本。

2.2 极大似然估计(Maximum Likehood Estimate, MLE)

极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计。求极大似然估计值的一般步骤如下所示
(1) 写出似然函数；
(2)对数似然函数取对数，并整理；
(3)求导数；
(4)解似然方程。

2.3 EM算法求解混合高斯模型

3. 应用(使用python和MATLAB实现混合高斯模型)

小结

参考文献

[1] https://blog.csdn.net/weixin_38206214/article/details/81064625
[2] https://blog.csdn.net/lin_limin/article/details/81048411
[3] 统计学习方法，李航