中南大学随机过程第九章ppt课件

1、随机过程与排队论随机过程与排队论数学科学与计算技术学院数学科学与计算技术学院胡朝明胡朝明：math_math_5/27/20215/27/2021上一讲内容回顾上一讲内容回顾齐次马氏链状态的分类齐次马氏链状态的分类互通互通 首达首达常返与非常返常返与非常返正常返与零常返正常返与零常返状态空间分解状态空间分解不可约马氏链不可约马氏链状态的周期性状态的周期性本讲主要内容本讲主要内容连续参数马尔可夫链连续参数马尔可夫链转移概率函数、转移矩转移概率函数、转移矩阵阵连续参数齐次马氏链连续参数齐次马氏链初始分布、绝对分布、初始分布、绝对分布、遍历性、平稳

2、分布遍历性、平稳分布转移概率函数的性质转移概率函数的性质状态转移速度矩阵状态转移速度矩阵生灭过程生灭过程3.4 连续参数马尔可夫链连续参数马尔可夫链类似离散参数马氏链，只是把离散的时间参数类似离散参数马氏链，只是把离散的时间参数改为连续的时间参数，便可得到类似的结果。改为连续的时间参数，便可得到类似的结果。 设随机过程设随机过程X(t),t0，状态空间，状态空间E=0,1,2,。若对于。若对于0t1t2tn0， ，则称，则称 j,j E为齐次马氏链为齐次马氏链X(t),t 0的极限分布。的极限分布。假如假如vj,j E满足满足1Ejj Ej , i, 0) t (plimjijt 转移概率函数

3、的性质转移概率函数的性质1.1. 0 0pij(t)pij(t)1 1，i,ji,jE E；。1) t (pEjij 连续性条件：连续性条件： ji, 0ji, 1)0(pijijpij(t)pij(t)满足满足C-KC-K方程方程 Errjirij) s (p) t (p) st (p矩阵形式矩阵形式: :P(t+s)P(t+s)P(t)P(s)P(t)P(s)绝对概率满足绝对概率满足 Eiijij) t (pp) t (p如果齐次马氏链如果齐次马氏链X(t),tX(t),t 00是遍历马氏链，那么是遍历马氏链，那么Ej,) t (plim) t (plimjijtjt 转移概率函数的性质转

4、移概率函数的性质( (续续1)1)设齐次马氏链设齐次马氏链X(t),tX(t),t00的状态有限，的状态有限，E=0,1,2,E=0,1,2,ss，如果存在，如果存在t00t00，使得对任意，使得对任意i,ji,jE E，都有，都有pij(t0)pij(t0)0 0，则此齐次马氏链，则此齐次马氏链X(t),tX(t),t00为遍历的齐次马氏链。为遍历的齐次马氏链。即即Ej,) t (plimjijt 存在且与存在且与i i无关，并且极限分布无关，并且极限分布 j,jj,j EE是唯一的平稳是唯一的平稳分布：分布：。 EiijijEjjj) t (p, 1, 0对固定的对固定的i,ji,j，函数

5、，函数pij(t)pij(t)是是t0t0的一致连续函数。的一致连续函数。满足连续性条件的连续参数齐次马氏链满足连续性条件的连续参数齐次马氏链X(t),tX(t),t00存存在下列极限在下列极限ji,qt) t (plim)2(,qqt) t (p1lim)1(ijij0tiiiii0t 其中其中qiqi表示在时刻表示在时刻t t时通过状态时通过状态i i的通过速度的通过速度( (或通过强或通过强度度) )；qijqij表示时刻表示时刻t t时从状态时从状态i i转移到状态转移到状态j j的速度的速度( (或或强度强度) )，qijqij统称转移速度。统称转移速度。状态转移速度矩阵状态转移速度

6、矩阵 设连续参数齐次马氏链设连续参数齐次马氏链X(t),t0，状态空间，状态空间E=0,1,2,s，下面，下面s+1阶方阵：阶方阵： ss2s1s0ss2222120s1121110s0020100qqqqqqqqqqqqqqqqQ称为齐次马氏链称为齐次马氏链X(t),t 0的状态转移速度矩阵，简称的状态转移速度矩阵，简称Q-矩阵。矩阵。 ji,qji,q)0(pijiiij 由连续性条件和导数的定义，显然有由连续性条件和导数的定义，显然有即即P(+0)Q。转移概率函数的性质转移概率函数的性质(续续2)设齐次马氏链设齐次马氏链X(t),t0，状态空间，状态空间E=0,1,2,s，其，其转移速度

7、转移速度 ij ,Ejijiiijqq, 0q设设X(t),t0为连续参数齐次马氏链，当为连续参数齐次马氏链，当qi+， qi 时，满足柯尔莫哥洛夫后退微分方程时，满足柯尔莫哥洛夫后退微分方程 ij ,Ejijq ik,Ekkjikijiij) t (pq) t (pqdt) t (dp即即P(t)QP(t)设设X(t),t0为连续参数齐次马氏链为连续参数齐次马氏链,当当qi0，及及 j11jj211j10011，即，即 j，j=0,1,n,为平稳分布。为平稳分布。10jj j0，有限状态生灭过程的平稳分布有限状态生灭过程的平稳分布 有限状态有限状态E=0,1,2,N的生灭过程的生灭过程X(t

8、),t 0是遍历的是遍历的齐次连续参数马氏链。生灭过程存在极限分布即为平稳齐次连续参数马氏链。生灭过程存在极限分布即为平稳分布分布 j,j E。 Q0即即 11N, 2 , 1j ,)(Ejj1N1NNN1j1j1j1jjjj1100有限状态生灭过程的平稳分布的解有限状态生灭过程的平稳分布的解 解得生灭过程解得生灭过程X(t),t 0，E=0,1,2,N的平的平稳分布稳分布 j,j E为：为： N, 2 , 1k,11kk1k0k211k10k1N1jj211j100 当当 0 1 N-1 ， 1 2 N 时，有时，有 N, 2 , 1k,0jk1jN0j0无限状态生灭过程的平稳分布无限状态生

9、灭过程的平稳分布无限状态无限状态E=0,1,2,的生灭过程的生灭过程X(t),t 0若满足若满足 1, 2 , 1j ,)(Ejj1j1j1j1jjjj1100是遍历的齐次连续参数马氏链。生灭过程存在极限分布是遍历的齐次连续参数马氏链。生灭过程存在极限分布即为平稳分布即为平稳分布 j,j E。 Q0即即 1jj211j101及及 j11jj211j10011无限状态生灭过程的平稳分布的解无限状态生灭过程的平稳分布的解 解得生灭过程解得生灭过程X(t),t 0，E=0,1,2,的平稳的平稳分布分布 j,j E为：为： , 3 , 2 , 1k,11kk1k0k211k10k11jj211j100

10、特别，当特别，当 0 1 = 2 ， 1 2 3 时，只要时，只要 / 1，那么，那么 j,j E存在，存在，且有且有, 2 , 1 , 0k,1kk 注注1. 由生灭过程由生灭过程X(t),t 0 的平稳分布可得：的平稳分布可得：2. j j j-1 j-13.此式的概率解释为：当群体大小此式的概率解释为：当群体大小X(t)处于统处于统计平衡时，在一个很小的时间区间计平衡时，在一个很小的时间区间t时，群体大时，群体大小增加小增加1的概率的概率(j-1 j-1)等于群体大小减少等于群体大小减少1的概率的概率(j j)。当当 j=0时，生灭过程时，生灭过程X(t),t 0为纯生过程，为纯生过程，

11、即即“灭是不可能的；当灭是不可能的；当 j=0时，生灭过程时，生灭过程X(t),t 0为纯灭过程，即为纯灭过程，即“生是不可能的生是不可能的例例1泊松过程泊松过程N(t),t0是生率为是生率为的纯生过程。的纯生过程。状态空间状态空间E0,1,2,状态转移速度图状态转移速度图01230 n-1n000000 状态转移速度矩阵状态转移速度矩阵 000000Q例例1(续续)前进方程：前进方程：P(t)P(t)Q，P(+0)=I即即 ijij0i0i1ijijij)0(p) t (p) t (p, 2 , 1j),t (p) t (p) t (p解得转移概率解得转移概率 其其它它, 0, 1i , i

12、j,e)!ij () t() t (ptijij也可直接按转移概率的定义来求也可直接按转移概率的定义来求Pij(t)：(平稳独立增量过平稳独立增量过程程) ij, 0ij,e)!ij () t(tijPij(t)PN(t+s)=j|N(s)=iPN(t+s)-N(s)=j-i|N(s)-N(0)=i-0 PN(t+s)-N(s)=j-i PN(t)=j-i独立增量增量的平稳性例例2 机器维修问题机器维修问题一部机器正常工作时间服从参数为一部机器正常工作时间服从参数为的负指数分布，的负指数分布，若出故障，维修时间服从参数为若出故障，维修时间服从参数为 的负指数分布，二者独的负指数分布，二者独立。

13、令立。令X(t)表示时刻表示时刻t出故障的机器数，那么出故障的机器数，那么X(t),t 0是是一个状态空间一个状态空间E0,1的生灭过程。的生灭过程。状态转移速度图状态转移速度图01 状态转移速度矩阵状态转移速度矩阵 Q前进方程：前进方程：P(t)P(t)Q，P(+0)=I即即1) t (p) t (p1) t (p) t (p0)0(p)0(p1)0(p)0(p),t (p) t (p) t (p),t (p) t (p) t (p),t (p) t (p) t (p),t (p) t (p) t (p1110010001011100111011111010010001010000 例例2(

14、续续1)解得解得 t )(11t )(10t )(01t )(00e) t (pe) t (pe) t (pe) t (p极限分布极限分布 ) t (plim) t (plim) t (plim) t (plim11t01t110t00t0例例2(续续2)平稳分布平稳分布(等于极限分布等于极限分布) 0010 10101010100例例3 设有设有2个通信通道，每个通道正常工作时间服从参数为个通信通道，每个通道正常工作时间服从参数为 的负指数分布。的负指数分布。2个通道出故障是统计独立的，若通道出个通道出故障是统计独立的，若通道出故障，由故障，由2个维修人员独立维修。修理的时间服从参数为个维修

15、人员独立维修。修理的时间服从参数为 的负指数分布。假设的负指数分布。假设2个通道在个通道在t=0时正常工作，设时正常工作，设X(t)表表示时刻示时刻t时出故障的通道数，那么时出故障的通道数，那么X(t),t 0是状态空间是状态空间E0,1,2的生灭过程。的生灭过程。状态转移速度图状态转移速度图状态转移速度矩阵状态转移速度矩阵 220)(022Q012 2 2 例例3(续续)平稳分布平稳分布Q0，1Ejj 即即 10202)(2022103221010解得解得 22221220)()(2)(即平稳分布即平稳分布(0,1,2) 22222)(,)(2,)(例例4 电话问题电话问题考虑有考虑有3条线

16、路的电话交换台。呼唤次数是参数为条线路的电话交换台。呼唤次数是参数为的的泊松过程；通话时间服从参数为泊松过程；通话时间服从参数为 的负指数分布，二者相的负指数分布，二者相互独立。用户不等待。设互独立。用户不等待。设X(t)表示时刻表示时刻t时通话线路数，那时通话线路数，那么么X(t)，t 0是状态空间是状态空间E0,1,2,3的生灭过程。的生灭过程。状态转移速度图状态转移速度图状态转移速度矩阵状态转移速度矩阵 3300)2(200)(00Q0123 2 3 例例4(续续)平稳分布平稳分布Q0，1Ejj 即即 10303)2(02)(032103232121010解得解得 03302201! 3121即平稳分布即平稳分布(0,1,2,3)，其中，其中3 , 2 , 1i,!k1! i1,!k1130kkii130kk0 本讲主要内容本讲主要内容连续参数马尔可夫链连续参数马尔可夫链转移概率