Dirichlet Process 4

最新推荐文章于 2024-08-29 11:01:35 发布
最新推荐文章于 2024-08-29 11:01:35 发布
阅读量382 收藏 7
点赞数 9
分类专栏： Bayesian Non-Parametrics 笔记 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangsj1007/article/details/130992626
版权
本文讨论了在样本分类中，如何利用狄利克雷分布和多项式分布的共轭性处理离散数据，通过图模型形式表示问题，并强调了新引入的离散基测量在贝叶斯非参数统计中的作用，对比了与传统H方法的区别。
摘要由CSDN通过智能技术生成

每一个样本都有自己对应的\theta，有多少个样本就有多少个\theta

x_{1},x_{2},...,x_{n}\newline \theta _{1},\theta _{2},...,\theta _{n}

如果有a个\theta相等，那么我们能够相信这a个对应的样本x属于同一类的

要保证\theta能够相等，所以\theta要从一个离散的分布，即G中产生

所以有如下关系

G\sim DP(\alpha ,H)

\theta _{1},\theta _{2},...,\theta _{n}\sim G

x_{i}\sim F(\theta _i)

图模型如下：

P(G|\theta _{1},...,\theta_{n}) \propto P(\theta_{1},...,\theta_{n} | G) *P(G)，这里面G=\Sigma \pi _{i}\delta _{i}，直接将G带入有些困难，这里面使用了狄利克雷分布和多项式分布共轭的性质

P(G(a_{1}), ...,G(a_{k})|n_{1},...,n_{k}) \propto \\Multi(n_{1},...,n_{k}|G(a_1),...,G(a_k))DIR(\alpha H(a_1),...,\alpha H(a_k))\\ =DIR(\alpha H(a_1) +n_1,...,\alpha H(a_k) + n_k) \\ =DP(\alpha + n, \frac{\alpha H + \Sigma \delta \theta_i}{\alpha + n})

可以看到新的DP的base measure \frac{\alpha }{\alpha+n} H + \frac{\Sigma \delta \theta_i}{\alpha + n}，和之前的H相比，新加了一个离散的项。

Happy_Traveller
关注
  • 9
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Dirichlet Process（狄利克雷过程）
qq_45377129的博客
12-28 1698
Dirichlet过程是一个常用于非参数模型的随机过程，对于随机过程的性质可以类比于Gauss过程。它是一个定义在分布上的分布，也就是说每一个Dirichlet过程的样本都是一个分布。从Dirichlet过程中抽样的分布是离散的，但是不能用有限个参数表示这样的过程，因为在每个点（无穷维）都可以定义采样点，因此这是一个非参数的模型。最开始缸里没有球，我们从分布H中取颜色，用这个颜色涂一个球，放入缸中。从缸里取一个球，用这个球的颜色涂一个新的球，再把两个球一起放进去。中的值都对应一个独立的颜色，从。
Dirichlet Process
seahailang的博客
11-09 1025
Introduction 考虑如下一个随机过程 给定分布G0G_0G0​，一个正实数α\alphaα 从分布G0G_0G0​中采样X1X_1X1​ n>1n>1n>1时： 以概率αn−1+α\frac{\alpha}{n-1+\alpha}n−1+αα​ 从G0G_0G0​中采样XnX_nXn​ 以概率1n−1+α\frac{1}{n-1+\alpha}n−1+.
Dirichlet Process 和 Dirichlet Process Mixture模型
wzg2016的博客
11-21 981
总结： Dirichlet Process Mixture（DPM）是一个聚类方法，可以实现聚类个数的自适应确定。DPM被称为非参数贝叶斯聚类，是因为它与其他聚类方法不同，不需要指定需要聚类的个数。 具体的理论，本文没有深入。 Dirichlet Process (DP)被称为分布的分布。从DP抽取出的每个样本（一个函数）都可以被认为是一个离散随机变量的分布函数，这个随机变量以非零概率值在可数无穷个离散点上取值。 Dirichlet Process Mixture (DPM)是这种非参数贝叶斯聚类.
Dirichlet Process and Hierarchical Dirichlet Process
aocandr8991的博客
08-02 152
参数聚类方法中需要对参数进行选择。一旦确定参数，比如k-means里的k，模型的规模与适用范围就已确定。而对于事先不能确定问题规模的问题，比如对分类个数不确定，这时需要使用非参数贝叶斯方法来对参数进行对问题规模的适应，参数将跟随数据的增多而增多。参数聚类属于确定模型（deterministic model），而非参数聚类属于生成模型（generative model）。 　　...
matlab dirichlet,Dirichlet Process Gaussian Mixture Model
weixin_26712065的博客
03-17 221
This package solves the Dirichlet Process Gaussian Mixture Model (aka Infinite GMM) with Gibbs sampling. This is nonparametric Bayesian treatment for mixture model problems which automatically selects...
Cluster Analysis with Dirichlet Process Mixture Models
WenbinYao&YouweiHu
12-25 466
在一篇文章看到使用DPMM做聚类，网上很多关于Dirichlet Process的资料，很多关于DPMM的资料，但是没找着怎么用这个来做聚类，而且这个对数学要求太高了，看了两天硬是搞不懂是个啥，最后算是有一点点模糊地理解吧，但是也不知道理解得对不对（真是哭了），把对我理解最有用的资料放上来，有时间再看看吧。 Gibbs sampling 徐亦达关于Dirichlet Process的讲解 Overview of Cluster Analysis and Dirichlet Process Mixture
Dirichlet Process 5
zhangsj1007的博客
01-23 378
所以同理我们有如下的predictive distribution，k代表有k个partition。中国餐馆过程（Chinese Restaurant Process）将 （2）带入 （1）（2式中的前两项消掉，只剩下第三项；最终属于某一个partition 里面，其实我们并不关心。这里面是知道已有的变量的值，能够推测新的变量值。属于哪一个partition里面。数据哪个partition的值用。具体的数值是多少，我们关心的是。
Dirichlet Process 3
zhangsj1007的博客
01-23 375
本节来介绍如何构造G，这里使用Stick-breaking construction算法。以此类推，可以得到无数个item，且。对于G，这里面有2个变量，一个是。，即采样的位置，一个是。
Dirichlet Process 1
zhangsj1007的博客
07-03 131
如下图的一个简单样本，如果我们不知道图中的样本是出自几个高斯分布，那我们如果求这个图中的样本应该归属于几个高斯分布那？直观看上去，有同学可能说是4个，有同学可能说是2个，然而如果是高维数据那？，这里面的DP代表Dirichlet Process，即狄利克雷过程，这里面的。又出自分布H，H可能是连续的也可能是离散的，可以同归DP产生G的一个随机测度。那么我们想通过一种方法，获得H的一个离散的版本，即。都对应一个产生它的分布，且这个分布的参数为。，那么G就是一个值，如果。是一个连续的分布，那么。
dirichlet process K-means_Kmeans_dirichlet process
09-23
标题中的“Dirichlet Process K-means”和“Kmeans_dirichlet process”指的是将狄利克雷过程（Dirichlet Process）与经典的K-means聚类算法相结合的一种拓展方法。这种结合允许我们在不知道确切类别数量的情况下...
dirichletprocess:Di Dirichlet流程工具
05-16
In [4]: dp = DirichletProcess(lambda: normalvariate(0, 1), alpha=1) In [7]: Counter(dp() for _ in range(1000)) Out[7]: Counter({-0.029073686274754998: 679, 0.7332646430104509: 301, 0.23296111210571477...
DP.rar_Dirichlet_dirichlet process
09-14
**PDF资料**：`dirichletProcess.pdf`和`dp.pdf`可能包含了关于Dirichlet过程的深入理论、数学公式、实例分析和应用案例。阅读这些文档可以帮助你更全面地理解Dirichlet过程，包括其概率密度函数、采样算法（如Gibbs...
Dirichlet Process.pdf
03-10
狄利克雷过程(Dirichlet Process)是贝叶斯非参数统计模型中的一种随机过程，尤其适用于狄利克雷过程混合模型(也称为无限混合模型)。该过程在贝叶斯非参数统计模型中被使用，用以对数据进行建模，特别是在模型的参数...
趣味算法------试用 6 和 9 组成的最大数字
markingyi的博客
08-26 584
给出一个数字，反转其中一位使数字最大化，递归求解。
Leetcode42接雨水（单调栈）
AGNING的博客
08-28 414
维护一个栈，满足从栈底到栈顶元素大小递减。如果当前元素高于栈顶，且栈内有至少2个元素，则形成了一个凹槽，及一个图中横着的红色矩形，将它的面积累加即可，第一次写难在维护单调栈中计算面积和。求出前缀最大和后缀最大，用两者较小值减去当前高度，累加即可，这个思路容易想到，这里不赘述。
代码随想录算法训练营第62天|Floyd 算法精讲、A * 算法精讲 （A star算法）
Yinems的博客
08-28 1295
分两种情况，一种是节点 i 到节点 j 的最短路径经过节点 k，grid[i][j][k] = grid[i][k][k-1] + grid[k][j][k-1]；另一种情况，节点 i 到节点 j 的最短路径不经过节点 k，grid[i][j][k] = grip[i][j][k-1]；刚开始初始化 k 是不确定的，如果赋值为1，那么不能知道节点 i 到节点 j 经过1个节点的最短距离，所以只能把 k 赋值为0，本题中节点0是无意义的，节点是从1到n。本题求的是最小值，所以其余值初始化为最大值。
57. 插入区间【 力扣(LeetCode) 】
最新发布
yyh520025的博客
08-29 4533
给你一个 无重叠的 ，按照区间起始端点排序的区间列表 intervals，其中 intervals[i] = [starti, endi] 表示第 i 个区间的开始和结束，并且 intervals 按照 starti 升序排列。同样给定一个区间 newInterval = [start, end] 表示另一个区间的开始和结束。在 intervals 中插入区间 newInterval，使得 intervals 依然按照 starti 升序排列，且区间之间不重叠（如果有必要的话，可以合并区间）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值