连续时间马尔科夫过程

$\textbf{1.连续时间马尔科夫链的一般定义}$
$\quad\quad$一个随机过程$\{X(t),t \geq 0\}$称为连续时间的马尔科夫链，如果

$$P(X(t+s)=j|X(s)=i,X(u)=x(u),0 \leq u<s)=P(X(t+s)=j|X(s)=i)$$
那么我们称这个过程为马尔科夫过程。另外针对转移概率
$$p_{ij}(s)=P(X(t+s)=j|X(t)=i)$$
和起始时间t无关的话，我们称这是时间齐次的马尔科夫链。这个转移矩阵和离散时间不同的是，离散时间给出的是一步转移概率，但是连续马尔科夫链的转移概率给出的是和时间相关的。
$\textbf{2.连续时间马尔科夫链的另一类定义}$
$\quad\quad$我们考虑连续时间马尔科夫链从一个状态 $i$开始，到状态发生变化，比如变成j所经过的时间，由于马尔科夫链的马尔科夫性，这个时间是具有无记忆性的，所以这个时间是服从指数分布的。这和离散时间马尔科夫链是密切相关的，离散时间马尔科夫链中的时间是离散时间，因为由无记忆性，所以是服从几何分布的。
$\quad\quad$这样我们就可以这样定义连续时间马尔科夫链。马尔科夫链是这样的一个过程。
$(i)$在转移到不同的状态 $i$前，它处于这个状态的时间是速率为 $v_i$的指数分布。
$(ii)$当离开状态 $i$时，以某种概率 $P_{ij}$进入下一个状态 $j$,当然 $P_{ij}$满足
$$P_{ii}=0,\forall i; \sum_{j}P_{ij}=1, \forall i$$
$\quad\quad$对比于半马尔科夫链，我们可以发现，连续时间马尔科夫链是一种特殊的半马尔科夫链，在一个状态所待的时间是只不过是一个具体的分布–指数分布，而半马尔科夫链只是说所待的时间是任意的一个随机时间。

$\textbf{3.生灭过程}$
$\quad\quad$第二种定义是利于了解连续时间马尔科夫链的相关性质的，我们用生灭过程来说明这种定义的意义所在。首先，我们先说明什么是生灭过程。生灭过程是一个计数过程，在这个过程的任意时刻，新到达者以指数速率$\lambda_n$进入系统（生过程），同时系统中的成员以指数速率$\mu_n$离开系统（灭过程）,也就是说假设系统中现在有n个人，那么下一状态有两种，一个是n+1，另一个是n-1.从n状态到n+1状态所经过的时间服从速率为$\lambda_n$的指数分布。从状态n到状态n-1所经过的时间服从速率为$\mu_n$的指数分布。这样的过程就是生灭过程，参数$\{\lambda_n\}_{n=0}^{\infty}$和$\{\mu_n\}_{n=0}^{\infty}$称为出生率和死亡率。我们做出图来理解这个过程。

图中的状态就是当前系统中的人数，0,1,2,3表示系统中的人数为0,1,2,3.从1状态到2状态所经过的时间$t_1$服从速率为$\lambda_1$（图中的L0）的指数分布。从状态1到状态0所经过的时间$t_2$服从速率为$\mu_1$(图中的U1)的指数分布。那么我们很感兴趣的是系统在状态1所待的时间是什么分布，它应该是$\lambda_1$和$\mu_1$中的较小者，显然是服从参数为$\lambda_1+\mu_1$的指数分布。那么在即将改变状态那一时刻，这个状态应该转变成哪种状态，同时状态转移概率是多少。问题便是如果$t_1=min(t_1,t_2)$，那么也就是说1状态将要转变成2状态，这个概率为$\frac {\lambda_1} {\lambda_1+\mu_1}$,如果