随机过程与排队论10

随机过程与排队论计算机科学与工程学院顾小丰Email：guxf@01二月20232023/2/1计算机科学与工程学院顾小丰37－2上一讲内容回顾齐次马氏链状态的分类互通首达常返与非常返正常返与零常返状态空间分解不可约马氏链状态的周期性2023/2/1计算机科学与工程学院顾小丰37－3本讲主要内容连续参数马尔可夫链转移概率函数、转移矩阵连续参数齐次马氏链初始分布、绝对分布、遍历性、平稳分布转移概率函数的性质状态转移速度矩阵生灭过程2023/2/1计算机科学与工程学院顾小丰37－4§3.4连续参数马尔可夫链类似离散参数马氏链，只是把离散的时间参数改为连续的时间参数，便可得到类似的结果。

设随机过程{X(t),t0}，状态空间E={0,1,2,…}。若对于0<t1<t2<…<tn<tn+1及非负整数i1,i2,…in,in+1，有P{X(tn+1)＝in+1|X(t1)=i1,X(t2)=i2,…,X(tn)=in}＝P{X(tn+1)＝in+1|X(tn)=in}即马尔可夫性成立，则称{X(t),t0}为连续参数马尔可夫链。2023/2/1计算机科学与工程学院顾小丰37－5转移概率函数

设{X(t),t0}为连续参数马氏链，对任意i,jE＝{0,1,2,…}，任意非负实数s,t，条件概率pij(s,t)＝P{X(t+s)=j|X(s)=i}称为此马氏链{X(t),t0}的转移概率函数，显然我们称P(s,t)＝(pij(s,t))i,jE为此马氏链的转移矩阵。

这里，pij(s,t)的直观意义是：系统(或质点)在时刻s时处于状态i，再经过t时间转到状态j的条件概率。2023/2/1计算机科学与工程学院顾小丰37－6连续参数齐次马氏链若{X(t),t0}为连续参数马氏链的转移概率pij(s,t)与时间起点s无关，即

pij(s,t)＝P{X(s+t)=j|X(s)=i}＝pij(t)则称{X(t),t0}为连续参数齐次马氏链。

类似地，

一般地，我们要求齐次马氏链的转移概率函数满足如下的连续性条件：P(t)＝(pij(t))i,jE称为此齐次马氏链的转移矩阵。

0pij(t)1，2023/2/1计算机科学与工程学院顾小丰37－7绝对分布、遍历性、平稳分布设{X(t),t0}为连续参数齐次马氏链则称{vj，jE}为齐次马氏链{X(t),t0}的平稳分布。pj＝P{X(0)=j}，jE，称{pj,jE}为该马氏链的初始分布；Pj(t)＝P{X(t)=j}，jE，称{pj(t),jE}为该马氏链的绝对分布；如果转移概率极限存在，，且与i无关则称此连续参数齐次马氏链为遍历的马氏链，此时，我们说该链具有遍历性。若j>0，，则称{j,jE}为齐次马氏链{X(t),t0}的极限分布。如果{vj,jE}满足2023/2/1计算机科学与工程学院顾小丰37－8转移概率函数的性质0pij(t)1，i,jE；连续性条件：pij(t)满足C-K方程矩阵形式: P(t+s)＝P(t)P(s)绝对概率满足如果齐次马氏链{X(t),t0}是遍历马氏链，则2023/2/1计算机科学与工程学院顾小丰37－9转移概率函数的性质(续1)设齐次马氏链{X(t),t0}的状态有限，E={0,1,2,…,s}，如果存在t0>0，使得对任意i,jE，都有pij(t0)>0，则此齐次马氏链{X(t),t0}为遍历的齐次马氏链。即存在且与i无关，并且极限分布{j,jE}是唯一的平稳分布：对固定的i,j，函数pij(t)是t>0的一致连续函数。满足连续性条件的连续参数齐次马氏链{X(t),t0}存在下列极限其中qi表示在时刻t时通过状态i的通过速度(或通过强度)；qij表示时刻t时从状态i转移到状态j的速度(或强度)，qij统称转移速度。2023/2/1计算机科学与工程学院顾小丰37－10状态转移速度矩阵

设连续参数齐次马氏链{X(t),t0}，状态空间E={0,1,2,…,s}，下面s+1阶方阵：称为齐次马氏链{X(t),t0}的状态转移速度矩阵，简称Q-矩阵。

由连续性条件和导数的定义，显然有即 P’(+0)＝Q。2023/2/1计算机科学与工程学院顾小丰37－11转移概率函数的性质(续2)设齐次马氏链{X(t),t0}，状态空间E={0,1,2,…,s}，其转移速度设{X(t),t0}为连续参数齐次马氏链，当qi<+，＝qi时，满足柯尔莫哥洛夫后退微分方程即 P’(t)＝QP(t)设{X(t),t0}为连续参数齐次马氏链,当qi<+,＝qri时，则有柯尔莫哥洛夫前进微分方程即 P’(t)＝P(t)Q2023/2/1计算机科学与工程学院顾小丰37－12转移概率函数的性质(续3)绝对概率满足（福克-普朗克方程）齐次不可约连续参数马氏链{X(t),t0}存在极限分布，即为平稳分布{j,jE}即 Q＝0（零向量）2023/2/1计算机科学与工程学院顾小丰37－13§3.5生灭过程

设{X(t),t0}是连续参数齐次马氏链，状态空间E＝{0,1,2,…,N}，如果它的状态转移速度矩阵为则称{X(t),t0}为生灭过程。2023/2/1计算机科学与工程学院顾小丰37－14生灭过程的转移概率

上述生灭过程{X(t),t0}的定义可等价地用转移概率pij(t)表示为：

生灭过程的状态空间可以推广到可数无穷多个状态的情形。2023/2/1计算机科学与工程学院顾小丰37－15生灭过程的概率意义

设X(t)表示时刻t时某生物群体的个数，{X(t),t0}为生灭过程，由上式可见，在长度为t的一小段时间内，如果忽略t的高阶无穷小量o(t)后，生灭过程的状态变化只有3种情况：i→i+1，状态增加1，可理解为“生”了一个个体，其概率为it，其生长率为i；i→i-1，状态减少1，可理解为“死”了一个个体，其概率为it，其生长率为i；i→i，状态不增不减，群体个数不变，其概率为1-(i+i)t；状态增加或减少2个或2个以上的概率为0。

生灭过程的所有状态都是互通的，但在有限短时间内，只能在相邻两个状态内变化，或者“生”一个，或者“死”一个，或者状态无变化，故称之为生灭过程。2023/2/1计算机科学与工程学院顾小丰37－16生灭过程的状态转移速度图0123n-1n10……234n-1nn+11nn-2n-1232023/2/1计算机科学与工程学院顾小丰37－17生灭过程满足的柯尔莫哥洛夫方程柯尔莫哥洛夫后退方程：P’(t)＝QP(t)，P(+0)＝I(单位阵)柯尔莫哥洛夫前进方程： P’(t)＝P(t)Q，P(+0)＝I2023/2/1计算机科学与工程学院顾小丰37－18福克－普朗克方程绝对概率满足福克－普朗克方程：(1)推广到无限状态E{0,1,2,…,n,…}为：(2)2023/2/1计算机科学与工程学院顾小丰37－19福克－普朗克方程解的存在性对有限状态E＝{0,1,2,…,N}的生灭过程，若满足pj(t)0，，则对任给的初始条件，方程组(1)的解存在、唯一，而且对可列无限状态E＝{0,1,2,…,n,…}的生灭过程，若而且满足pj(t)0，，则对任给的初始条件，方程组(2)的解存在、唯一，且2023/2/1计算机科学与工程学院顾小丰37－20极限定理对有限状态E＝{0,1,2,…,N}的生灭过程，{j，j=0,1,2,…,N}存在，与初始条件无关，且即{j，j=0,1,…,N}为平稳分布。对可列无限状态E＝{0,1,2,…,n,…}的生灭过程，若有条件成立，则{j，j=0,1,2,…}存在，与初始条件无关，且令j>0，及，即{j，j=0,1,…,n,…}为平稳分布。j>0，2023/2/1计算机科学与工程学院顾小丰37－21有限状态生灭过程的平稳分布

有限状态E={0,1,2,…,N}的生灭过程{X(t),t0}是遍历的齐次连续参数马氏链。生灭过程存在极限分布即为平稳分布＝{j,jE}。 Q＝0

即2023/2/1计算机科学与工程学院顾小丰37－22有限状态生灭过程的平稳分布的解

解得生灭过程{X(t),t0}，E={0,1,2,…,N}的平稳分布＝{j,jE}为：

当0＝1＝…＝N-1＝，1＝2＝…＝N＝时，有2023/2/1计算机科学与工程学院顾小丰37－23无限状态生灭过程的平稳分布无限状态E={0,1,2,…,}的生灭过程{X(t),t0}若满足是遍历的齐次连续参数马氏链。生灭过程存在极限分布即为平稳分布＝{j,jE}。Q＝0即及2023/2/1计算机科学与工程学院顾小丰37－24无限状态生灭过程的平稳分布的解

解得生灭过程{X(t),t0}，E={0,1,2,…,}的平稳分布＝{j,jE}为：特别，当0＝1=2＝…＝，1＝2＝3＝…＝时，只要/＜1，则{j,jE}存在，且有2023/2/1计算机科学与工程学院顾小丰37－25注由生灭过程{X(t),t0}的平稳分布可得：jj＝j-1j-1

此式的概率解释为：当群体大小X(t)处于统计平衡时，在一个很小的时间区间t时，群体大小增加1的概率(j-1j-1)等于群体大小减少1的概率(jj)。当j=0时，生灭过程{X(t),t0}为纯生过程，即“灭”是不可能的；当j=0时，生灭过程{X(t),t0}为纯灭过程，即“生”是不可能的2023/2/1计算机科学与工程学院顾小丰37－26例1泊松过程{N(t),t0}是生率为的纯生过程。状态空间E＝{0,1,2,…}状态转移速度图01230…n-1n…000000状态转移速度矩阵2023/2/1计算机科学与工程学院顾小丰37－27例1(续)前进方程： P’(t)＝P(t)Q， P(+0)=I即解得转移概率也可直接按转移概率的定义来求Pij(t)：(平稳独立增量过程)Pij(t)＝P{N(t+s)=j|N(s)=i}＝P{N(t+s)-N(s)=j-i|N(s)-N(0)=i-0}

＝P{N(t+s)-N(s)=j-i}＝P{N(t)=j-i} 独立增量增量的平稳性2023/2/1计算机科学与工程学院顾小丰37－28例2机器维修问题一部机器正常工作时间服从参数为的负指数分布，若出故障，维修时间服从参数为的负指数分布，二者独立。令X(t)表示时刻t出故障的机器数，则{X(t),t0}是一个状态空间E＝{0,1}的生灭过程。状态转移速度图01状态转移速度矩阵前进方程： P’(t)＝P(t)Q， P(+0)=I即2023/2/1计算机科学与工程学院顾小丰37－29例2(续1)解得极限分布2023/2/1计算机科学与工程学院顾小丰37－30例2(续2)平稳分布(等于极限分布)2023/2/1计算机科学与工程学院顾小丰37－31例3设有2个通信通道，每个通道正常工作时间服从参数为的负指数分布。2个通道出故障是统计独立的，若通道出故障，由2个维修人员独立维修。修理的时间服从参数为的负指数分布。假设2个通道在t=0时正常工作，设X(t)表示时刻t时出故障的通道数，则{X(t),t0}是状态空间E＝{0,1,2}的生灭过程。状态转移速度图状态转移速度矩阵012222023/2/1计