MCMC(5) --- Markov Chain (2)

上一节介绍了Markov Chain 的基本概率,本节介绍Markov Chain的基本特性。

平稳分布,设有马尔可夫链X = {X_{0},X_{1},...,X_{t},...},其状态空间为S,转移概率矩阵为P = (p_{ij}),如果存在状态空间S上的一个分布

\Pi = \begin{bmatrix} \Pi1 \\\Pi2 \\... \end{bmatrix}

使得,\Pi = P\Pi

则称\Pi为马尔可夫链X = {X_{0},X_{1},...,X_{t},...}的平稳分布。

给定一个马尔可夫链X = {X_{0},X_{1},...,X_{t},...},状态空间为S,转移概率矩阵为P=(p_{ij}),则分布\Pi为X的平稳分布的充分必要条件是\Pi是下列方程组的解:

             x_{i} = \sum_{j}^{} p_{ij}x_{j}, i = 1,2,...

            x_{i} \geq 0, i = 1,2,...

            \sum_{i}^{} {x}_{i} = 1

证明略

不可约,设有马尔可夫链X = {X_{0},X_{1},...,X_{t},...},状态空间为S,对于任意状态i,j \in S,如果存在一个时刻t(t > 0),满足

         P(X_{t} = i | X_{0} = j) > 0,

也就是说,时刻0从状态j出发,时刻t到达状态i的概率大于0,则称次马尔可夫链X是不可约的,否则称马尔可夫链是可约的。

直观上,一个不可约的马尔可夫链,从任意状态出发,当经过充分长时间后,可以到达任意状态。

非周期,设有马尔可夫链 X = {X_{0},X_{1},...,X_{t},...},状态空间为S,对于任意状态i\in S,如果时刻0从状态i出发,t时刻返回状态的所有时间长{t : P(X_{t} = i | X_{0} = i)}的最大公约数是1,则称此马尔可夫链X是非周期的,否则称马尔可夫链是周期的。

不可约且非周期的有限状态马尔可夫链,有唯一平稳分布存在。

正常返,设有马尔可夫链 X = {X_{0},X_{1},...,X_{t},...},状态空间为S,对于任意状态i,j \in S,定义概率p_{ij}^{t}为时刻0从状态j出发,时刻t首次转移到状态i的概率,即p_{ij}^{t} = P(X_{t} = i, X_{s} \neq i, s=1,2,...,t-1|X_{0} = j), t=1,2,....

不可约、非周期且正常返的马尔可夫链,有唯一平稳分布存在

遍历定理,设有马尔可夫链  X = {X_{0},X_{1},...,X_{t},...},状态空间为S,若马尔可夫链X是不可约的,非周期且正常返的,则该马尔可夫链有唯一平稳分布\Pi,并且转移概率的极限分布是马尔可夫链的平稳分布。

\lim_{x \to \infty }P(X_{t} = i|X_{0} = j) = \Pi_{i} , i = 1, 2, ...; j = 1,2,...

若f(X)是定义在状态空间上的函数,E_{\Pi}[|f(X)|] < \infty,则

           P(\widetilde{f_{t}} \rightarrow E_{\Pi}[f(X)]) = 1

这里,\widetilde{f_{t}} = \frac{1}{t}\sum_{s=1}^{t}f(x_{s})

不可约、非周期、正常返,保证了当时间趋于无穷时到达任意一个状态不为0,随机变量的函数的样本以概率1收敛于该函数的数学期望。

取一个足够大的整数m,经过m次迭代之后认为状态分布是平稳分布,在实际应用遍历定理时,取一个足够大的整数m,经过m次迭代后认为状态分布就是平稳分布,这时计算第m+1次迭代到第n次迭代的均值,即

\widetilde{E_{f}} = \frac{1}{n-m}\sum_{i=m+1}^{n}f(x_{i})

称为遍历均值。

可逆马尔可夫链,设有马尔可夫链  X = {X_{0},X_{1},...,X_{t},...},状态空间为S,转移概率矩阵为P,如果有状态分布\Pi,对于任意状态i,j\in S,对于任意一个时刻t满足

      P(X_{t}=i | (X_{t-1}=j)\Pi_{j} = P(X_{t-1}=j| (X_{t}=j)\Pi_{i},  i,j = 1,2,...

或简写为

               p_{ij}\Pi_{j} = p_{ji}\Pi_{i}     ,  i,j = 1,2,...

则称次马尔可夫链X为可逆马尔可夫链,上式称为细致平衡方程(detail balance equation)

细致平衡是更强的条件。如果有可逆的马尔可夫链,那么以该马尔可夫链的平稳分布作为初始分布,进行随机状态转移,无论是面向未来还是面向过去,任何一个时刻的状态分布都是该平稳分布。

满足细致平衡方程的状态分布\Pi就是该马尔可夫链的平稳分布即 P\Pi=\Pi

                             

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值