随机过程中有两类很重要的过程:到达过程和马尔科夫过程;
Ⅰ. 到达过程:到达过程重点研究的是相邻到达时间(即两次到达之间的时间)是相互独立的随机变量模型。IF考虑到达的时间是离散的情形,相邻时间服从几何分布,即伯努利过程;IF考虑到达的时间是连续的情形,相邻时间服从指数分布,即泊松过程。
Ⅱ. 马尔科夫过程:考虑数据在时间点上演化,而且未来数据的演化与历史数据有概率相关结构。比如股票的未来日的价格明显依赖于过去的价格。但是在马尔科夫过程中,我们假设一类特殊的相关:未来的数据只依赖于当前数据,而与过去的数据无关。
1. 伯努利过程
(1). 伯努利过程为一串相互独立的伯努利随机变量序列x1, x2, ...., xn,且对于任意的i,p(xi = 1) = p(第i次试验成功) = p; p(xi = 0) = p(第i次试验失败) = p-1;
到达随机过程中,人们常常感兴趣的是在一定时间内总到达次数,或者首次到达的时间。与伯努利过程相关的随机变量及其性质:
①. 一段时间内总到达次数:或者n次相继独立的试验成功的总次数k的分布,服从参数为n和p的二项分布。
②. 首次到达的时间:或者相互独立重复的伯努利试验首次成功的总次数T的分布——服从参数为p的几何分布。
(2). 伯努利过程性质:独立性和无记忆性
①. 重新开始:从任意一个时刻开始,未来也可以用相同的伯努利过程来建模,而且与过去相互独立。即对任意给定的时间n,随机变量序列x(n+1), x(n+2), ... (过程的将来)也是伯努利过程,而且与x1, x2, ..., xn(过程的过去)独立。
②. 对任意给定的时间n,令T是时间n之后首次成功的时间,则随机标量T-n服从参数为p的几何分布,且与随机变量x1, ..., xn独立。
(3). 相邻到达间隔时间
与伯努利过程相关的一个很重要的随机变量是第K次成功(或到达)的时间,记为Y(k). 与之相关的变量是第k次相邻到达的间隔时间,记为T(k)。所谓第k次相邻到达的时间是第k-1到达之后到第k次到达之间所需的总时间,满足: