MCMC(5) --- Markov Chain (2)_细致平衡方程-CSDN博客

本文链接：https://blog.csdn.net/zhangsj1007/article/details/125615280

上一节介绍了Markov Chain 的基本概率，本节介绍Markov Chain的基本特性。

平稳分布，设有马尔可夫链X = { $X_{0},X_{1},...,X_{t},...$ },其状态空间为S，转移概率矩阵为P = （ $p_{ij}$ ）,如果存在状态空间S上的一个分布

$\Pi = \begin{bmatrix} \Pi1 \\\Pi2 \\... \end{bmatrix}$

使得， $\Pi = P\Pi$

则称 $\Pi$ 为马尔可夫链X = { $X_{0},X_{1},...,X_{t},...$ }的平稳分布。

给定一个马尔可夫链X = { $X_{0},X_{1},...,X_{t},...$ },状态空间为S，转移概率矩阵为P=（ $p_{ij}$ ）,则分布 $\Pi$ 为X的平稳分布的充分必要条件是 $\Pi$ 是下列方程组的解：

$x_{i} = \sum_{j}^{} p_{ij}x_{j}, i = 1,2,...$

$x_{i} \geq 0, i = 1,2,...$

$\sum_{i}^{} {x}_{i} = 1$

证明略

不可约，设有马尔可夫链X = { $X_{0},X_{1},...,X_{t},...$ },状态空间为S，对于任意状态 $i,j \in S$ ,如果存在一个时刻t(t > 0)，满足

$P(X_{t} = i | X_{0} = j) > 0$ ,

也就是说，时刻0从状态j出发，时刻t到达状态i的概率大于0，则称次马尔可夫链X是不可约的，否则称马尔可夫链是可约的。

直观上，一个不可约的马尔可夫链，从任意状态出发，当经过充分长时间后，可以到达任意状态。

非周期，设有马尔可夫链 X = { $X_{0},X_{1},...,X_{t},...$ }，状态空间为S，对于任意状态 $i\in S$ ，如果时刻0从状态i出发，t时刻返回状态的所有时间长{t : $P(X_{t} = i | X_{0} = i)$ }的最大公约数是1，则称此马尔可夫链X是非周期的，否则称马尔可夫链是周期的。

不可约且非周期的有限状态马尔可夫链，有唯一平稳分布存在。

正常返，设有马尔可夫链 X = { $X_{0},X_{1},...,X_{t},...$ }，状态空间为S，对于任意状态 $i,j \in S$ ,定义概率 $p_{ij}^{t}$ 为时刻0从状态j出发，时刻t首次转移到状态i的概率，即 $p_{ij}^{t} = P(X_{t} = i, X_{s} \neq i, s=1,2,...,t-1|X_{0} = j), t=1,2,...$ .