MCMC(4) --- Markov Chain (1)

     随机过程，，表示时刻t的随机变量，t=0,1,2,...。每个随机变量的取值集合相同，称为状态空间，表示为S。随机变量可以是离散的，也可以是连续的。以上随机变量的序列构成随机过程(Stochastic Process)。

     马尔可夫性，如果随机变量只依赖于，而不依赖于过去的随机变量，这一性质称为马尔可夫性，即：

           

      马尔科夫链，具有马尔可夫性的随机序列X = {}称为马尔科夫链（Markov Chain），也称为马尔可夫过程(Markov Process)。

      转移概率，条件概率称为转移概率分布。转移概率分布决定了马尔可夫链的特性。

      随机矩阵，马尔可夫的转移概率可以由矩阵表示，即

如果满足 ： 和  = 1，满足这两个条件的矩阵称为随机矩阵（stochastic matrix）.

       概率转移核，连续状态马尔可夫链 ，随机变量定义在连续状态空间S，转移概率分布由概率转移核表示。

p(x,.)是概率密度函数，也称为概率转移核

        马尔可夫链的状态分布由初始分布和转移概率分布决定 

  

马尔可夫链在时刻t的状态分布，可以通过递归推到得到。