MCMC (11) --- Markov Chain Monte Carlo (6) --- Gibbs(2)

简单来说，吉布斯抽样是单分量Metropolis-Hastings的特殊情况，特殊在哪哪？

特殊在这个时候

                        

这个时候的接收率：

                        

                    

   由于

          

带入，能够得到：

吉布斯抽样算法过程：

输入：目标概率分布的密度函数p(x)，函数f(x);

输出：p(x)的随机样本，函数样本均值；

参数：收敛步数m，迭代步数n。

(1) 初始化。给出初始样本

(2) 对i循环执行

设第（i-1）次迭代结束时的样本为，则第i

次迭代进行如下几步操作：

       a.由满条件分布，抽取

       .......

      b.由满条件分布，抽取

      ........

      c.由满条件分布，抽取

得到第i次迭代值

(3) 得到样本集合

            {}

(4) 计算

            

总结：单分量Metropolis-Hastings算法和吉布斯算法的不同之处在于，前者算法中，抽样会在样本之间移动，但期间可能在某一些样本点停留（由于抽样被拒绝）；而在后者算法中，抽样会在样本间持续移动。

吉布斯抽样适合满条件概率分布容易抽样的情况，而单分量Metropolis-Hastings算法适合于满条件概率分布不容易抽样的情况，这时使用容易抽样的条件分布建议分布。