上一节介绍了Markov Chain 的基本概率,本节介绍Markov Chain的基本特性。
平稳分布,设有马尔可夫链X = {},其状态空间为S,转移概率矩阵为P = (
),如果存在状态空间S上的一个分布
使得,
则称为马尔可夫链X = {
}的平稳分布。
给定一个马尔可夫链X = {},状态空间为S,转移概率矩阵为P=(
),则分布
为X的平稳分布的充分必要条件是
是下列方程组的解:
证明略
不可约,设有马尔可夫链X = {},状态空间为S,对于任意状态
,如果存在一个时刻t(t > 0),满足
,
也就是说,时刻0从状态j出发,时刻t到达状态i的概率大于0,则称次马尔可夫链X是不可约的,否则称马尔可夫链是可约的。
直观上,一个不可约的马尔可夫链,从任意状态出发,当经过充分长时间后,可以到达任意状态。
非周期,设有马尔可夫链 X = {},状态空间为S,对于任意状态
,如果时刻0从状态i出发,t时刻返回状态的所有时间长{t :
}的最大公约数是1,则称此马尔可夫链X是非周期的,否则称马尔可夫链是周期的。
不可约且非周期的有限状态马尔可夫链,有唯一平稳分布存在。
正常返,设有马尔可夫链 X = {},状态空间为S,对于任意状态
,定义概率
为时刻0从状态j出发,时刻t首次转移到状态i的概率,即
.
不可约、非周期且正常返的马尔可夫链,有唯一平稳分布存在
遍历定理,设有马尔可夫链 X = {},状态空间为S,若马尔可夫链X是不可约的,非周期且正常返的,则该马尔可夫链有唯一平稳分布
,并且转移概率的极限分布是马尔可夫链的平稳分布。
若f(X)是定义在状态空间上的函数,,则
这里,
不可约、非周期、正常返,保证了当时间趋于无穷时到达任意一个状态不为0,随机变量的函数的样本以概率1收敛于该函数的数学期望。
取一个足够大的整数m,经过m次迭代之后认为状态分布是平稳分布,在实际应用遍历定理时,取一个足够大的整数m,经过m次迭代后认为状态分布就是平稳分布,这时计算第m+1次迭代到第n次迭代的均值,即
称为遍历均值。
可逆马尔可夫链,设有马尔可夫链 X = {},状态空间为S,转移概率矩阵为P,如果有状态分布
,对于任意状态
,对于任意一个时刻t满足
, i,j = 1,2,...
或简写为
, i,j = 1,2,...
则称次马尔可夫链X为可逆马尔可夫链,上式称为细致平衡方程(detail balance equation)。
细致平衡是更强的条件。如果有可逆的马尔可夫链,那么以该马尔可夫链的平稳分布作为初始分布,进行随机状态转移,无论是面向未来还是面向过去,任何一个时刻的状态分布都是该平稳分布。
满足细致平衡方程的状态分布就是该马尔可夫链的平稳分布即