Dirichlet Process 1

Happy_Traveller

已于 2024-01-23 22:08:53 修改

阅读量134

点赞数

分类专栏： Bayesian Non-Parametrics 笔记文章标签：聚类机器学习算法

于 2023-07-03 15:14:52 首次发布

本文链接：https://blog.csdn.net/zhangsj1007/article/details/130913815

版权

Bayesian Non-Parametrics 笔记专栏收录该内容

5 篇文章 0 订阅

订阅专栏

当面对未知分布的样本集，尤其是高维数据时，确定样本归属的高斯分布数量是一个挑战。文章提到，可以使用狄利克雷过程（DP）来生成分布H的离散版本G，G的离散程度由参数控制。DP帮助解决连续分布的聚类问题，每个样本对应一个特定的分布参数，而这些分布整体出自H。G作为一个随机测度，提供了处理这种复杂情况的方法。

摘要由CSDN通过智能技术生成

如下图的一个简单样本，如果我们不知道图中的样本是出自几个高斯分布，那我们如果求这个图中的样本应该归属于几个高斯分布那？直观看上去，有同学可能说是4个，有同学可能说是2个，然而如果是高维数据那？可能我们画都没有办法把它画出来，这个时候连直观上去猜都没有办法猜。

这个问题实际上是一个数据的统计聚类问题。

这里假设如果每个数据都给一个参数，

$x_{1} \quad \theta _{1} \newline x_{2} \quad \theta _{2}\newline \quad .\quad\quad . \newline \quad .\quad\quad . \newline \quad .\quad\quad . \newline x_{n} \quad \theta _{n}$

并且假设 $\theta _{i} \sim H(\theta )$

这里面如果 $H(\theta )$ 是一个连续的分布，那么 $P\{\theta _{i} = \theta _{j}\} = 0$

所以 $\theta _{i}$ 不能从一个连续的分布中来取。

那么我们想通过一种方法，获得H的一个离散的版本，即 $G\sim DP(\alpha ,H)$ ，这里面的DP代表Dirichlet Process，即狄利克雷过程，这里面的 $\alpha$ 是一个scalar，且 $\alpha > 0$ ， $\alpha$ 表征H的离散版本G有多离散， $\alpha$ 越小，G越离散； $\alpha$ 越大，G越不离散。极端情况， $\alpha = 0$ ，那么G就是一个值，如果 $\alpha \rightarrow \infty$ ，G就是H。