Dirichlet Process 5

最新推荐文章于 2024-08-31 15:34:19 发布

Happy_Traveller

最新推荐文章于 2024-08-31 15:34:19 发布

阅读量378

点赞数 9

分类专栏： Bayesian Non-Parametrics 笔记文章标签：算法

本文链接：https://blog.csdn.net/zhangsj1007/article/details/132673198

版权

Bayesian Non-Parametrics 笔记专栏收录该内容

5 篇文章 0 订阅

订阅专栏

Predictive distribution，形如：

$P(X_i|\bar{X_{-i}}),\bar{X_-i} = \{X_1,...,X_{i-1}, X_{i+1}, ...,X_n\}$

这里面是知道已有的变量的值，能够推测新的变量值

$P(X_i|\bar{X_{-i}}) \\ =\int P(X_i, \omega | \bar{X_{-i}}) d\omega \\ =\int P(X_i| \omega, \bar{X_{-i}})P(\omega|\bar{X_{-i}}) d\omega \\ =\int P(X_i| \omega)P(\omega|\bar{X_{-i}}) d\omega \\$

$\omega$ 是模型的参数，带入到上节的公式：

$P(\theta_i|\bar{\theta_{-i}}) \\ =\int P(\theta_i|G) P(G|\bar{\theta_{-i}})$ ，G是模型的参数

$\theta_i$ 有具体的值，且 $\theta_i$ 最终属于某一个partition 里面，其实我们并不关心 $\theta_i$ 具体的数值是多少，我们关心的是 $\theta_i$ 属于哪一个partition里面

$\theta_i$ 数据哪个partition的值用 $z_i$ 来表示，

所以同理我们有如下的predictive distribution，k代表有k个partition

$P(Z_i = m | \bar{Z_{-i}}) \\ =\frac{P(Z_i = m, \bar{Z_{-i}})}{P(\bar{Z_{-i}})} \\ =\frac{\int P(Z_i = m, \bar{Z_{-i}}| p_1,...p_n) * P(p_1,...,p_n)}{\int P(\bar{Z_{-i}}|p_1,...,p_n) * P(p_1,...,p_n)} \\ =\frac{\int P(Z_i = m, \bar{Z_{-i}}| p_1,...p_n) *DIR(\frac{\alpha}{k}, ...., \frac{\alpha}{k})} {\int P(\bar{Z_{-i}}|p_1,...,p_n) * DIR(\frac{\alpha}{k}, ...., \frac{\alpha}{k})} (1)$

对于一个多项式分布和狄利克雷分布对参数进行积分有如下：

$\int_{p_1,...p_k}^{} P(n_1,...,n_k|p_1,...p_n)*P(p_1,...,p_k|\alpha_1,...,\alpha_k) \\ =\int_{p_1,...,p_k}^{} Multi(n_1,...,n_k|p_1,...,p_k) DIR(p_1,...,p_k|\alpha_1,...,\alpha_k) \\ =\int_{p_1,...,p_k}^{} (\frac{n!}{n_1!...n_k!} \Pi p_i^{ni}) (\frac{\Gamma (\Sigma \alpha_i)}{\Pi \Gamma (\alpha_i)} \Pi p_i^{\alpha_i-1} ) \\ =\frac{n!}{n_1!...n_k!} \frac{\Gamma (\Sigma \alpha_i)}{\Pi \Gamma (\alpha_i)} \int_{p_1,...,p_k}^{} \Pi p_i^{n_i + \alpha_i-1}\\ =\frac{n!}{n_1!...n_k!} \frac{\Gamma (\Sigma \alpha_i)}{\Pi \Gamma (\alpha_i)} \frac{\Pi\Gamma (\alpha_i + n_i)}{ \Gamma (\Sigma \alpha_i + n)} (2)$

这里

$\Pi p_i^{n_i + \alpha_i-1} \propto DIR(\alpha_1+n_1, ..., \alpha_k + n_k) , \int DIR = 1$

(1) 式中

设 $n_{l, -i} = num of \bar{Z_{-i}} = l$

$n_1 = n_{1,-i} \\ ...... \\ n_m = n_{m, -i} + 1 \\ ......\\ n_k = n_{k,-i}$

将（2）带入（1）（2式中的前两项消掉，只剩下第三项； $\alpha_i = \frac{\alpha}{k}$ ， $\Gamma (x) = (x-1) \Gamma (x-1)$ ）

$\frac{\Gamma (n_{m,-i} + 1 + \frac{\alpha}{k}) \prod_{l=1,l\neq n}^{k} (n_{l, -i} + \frac{\alpha}{k})}{\Gamma (\alpha + n)} * \frac{\Gamma (\alpha + n - 1)}{ \prod_{l=1}^{k} (n_{l, -i} )} \\ = \frac{n_{m,-i} + \frac{\alpha}{k}}{n + \alpha -1} \\ =\frac{n_{m,-i}}{n+\alpha-1} (k \rightarrow \infty )$

中国餐馆过程（Chinese Restaurant Process）

$P(Z_i = m | \bar{Z_{-i}}) \left\{\begin{matrix} \frac{n_{m,-i}}{n+\alpha - 1} & existing \\ \frac{\alpha}{n+\alpha - 1}& new \end{matrix}\right.$

Happy_Traveller

关注

9
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
Dirichlet Process 5

所以同理我们有如下的predictive distribution，k代表有k个partition。中国餐馆过程（Chinese Restaurant Process）将（2）带入（1）（2式中的前两项消掉，只剩下第三项；最终属于某一个partition 里面，其实我们并不关心。这里面是知道已有的变量的值，能够推测新的变量值。属于哪一个partition里面。数据哪个partition的值用。具体的数值是多少，我们关心的是。
复制链接

扫一扫

专栏目录