随机过程-第四章2

1、3. 3. 时间连续状态离散的马氏过程时间连续状态离散的马氏过程 一、定义一、定义, ,转移概率函数转移概率函数 1 1定义定义 设设 X(t)，tT 是随机过程是随机过程，T 是连续时是连续时 间参数集。间参数集。T = (0，+)，状态空间状态空间 E=1，2，N或或 E = 1，2 或或 E = 2，1，0，1，2 若对任意整数若对任意整数 m（m2） ，） ， 任任 m 个时刻个时刻，t1，t2，tm（0t1 t2 tm） ，） ， 任意正数任意正数 s 以及任以及任 i1，i2， ， ，im，jE， 满足满足 PX(tm+s) = j | X(t1)=i1，X(t2)=i2，X(tm

2、)=im = P X(tm+s) = j | X(tm)=im 则称则称 X(t)，t0，+ 为马氏过程为马氏过程 1 n t m t stm 过去过去 现在现在 将来将来 与马氏链定义不同之处是：与马氏链定义不同之处是： 时间取值是连续的表示为时间取值是连续的表示为 t1，t2，tm，s 马氏链时间是离散的取值，记马氏链时间是离散的取值，记为为 n1，n2， nm，k， 状状态态一一样样，取取值值均均写写为为 i1，i2，im ， i，j 离离散散的的， 以以后后研研究究注注意意此此点点。 2 2称称 P X(t+s)=j | X(t)=i =pij (t，t+s)，i，jE 为为马马氏氏过

3、过程程在在 t 时时刻刻经经 s 时时间间的的转转移移概概率率函函数数。 若若 pij (t，t+s)与与 t 无关，称无关，称X(t)，t0，+ 为时齐马氏过程。为时齐马氏过程。 其转移概率函数仅与起始状态其转移概率函数仅与起始状态 i，经过时间段经过时间段 s 和和 转移到达的状态转移到达的状态 j 有关，记为：有关，记为： pij (s) = pij (t，t+s)=PX(t+s)=j | X(t)=i t0，s0 我们只讨论时齐马氏过程，以后不再说我们只讨论时齐马氏过程，以后不再说“时齐时齐”二字。二字。 3. 转移概率函数性质转移概率函数性质 1)(0 spij ，i，j=1，2 j

4、 ij sp1)( ， i=1，2 一般规定一般规定 ji ji p ijij , 0 , 1 )0( 4. C-K 方程（切普曼方程（切普曼- -柯尔莫哥洛夫）柯尔莫哥洛夫） 直观意义：将离散型马氏链直观意义：将离散型马氏链 C-K 方程中的方程中的 k，l， 分别换成分别换成 s，t 即即 r rjirij tpsptsp)()()( i，j=0，1，2 5初始（概率）分布初始（概率）分布 )0( )0( i piXP i=1，2 满足性质满足性质 10 )0( i p 1 )0( i i p 特别当马氏过程在零时刻由固定特别当马氏过程在零时刻由固定 i0状态出发状态出发， 此时此时 1

5、)0( 0 i p ， 0 )0( j p （ji0） 6绝对概率分布绝对概率分布 )()(tpitXp i i=0，1，2 满足满足： 0)( tpi i=0，1，2 1)( i i tp 7 绝对概率被初始概率和转移概率所确定绝对概率被初始概率和转移概率所确定 由全概率公式可得到由全概率公式可得到 i ijij tpptp)()( )0( ，j=0，1，2 8转移概率与转移概率矩阵转移概率与转移概率矩阵。 设设 X(t)=t 表示过程在时刻表示过程在时刻 t 处于状态处于状态 i（iE） ，） ， 经过经过t 由由 i 转移到转移到 j 的概率记为的概率记为 )(|)()(itXjttXP

6、tpij ，i，jE 且有且有 0)( tpij ，i，jE j ij tp1)( ，i，jE 用矩阵表示记为用矩阵表示记为 )()()( )()()( )()()( )()( 21 22221 11211 tptptp tptptp tptptp tptP rrrr r r ij 它的它的 C-K 方程表示为方程表示为 k kjikij tptpttp)()()( 则其概率矩阵为则其概率矩阵为 )()()(tPtPttP 定义：过程定义：过程 X(t)，t(0，+) 状态有限状态有限E= 1，2，N 该过程该过程的转移概率函数为的转移概率函数为 pij(t) 若若 ji ji tp ijij

7、 t , 0 , 1 )(lim 0 成立成立 （*） 则称此过程为随机连续马氏过程则称此过程为随机连续马氏过程 上式表明：当上式表明：当t 很小时，过程由状态很小时，过程由状态 i 转移到转移到 i 的的 概率接通近于概率接通近于 1，而转移到状态而转移到状态 j（ji）的的概率接概率接 近需近需 0，亦即经过很短时间系统的状态几乎是不变亦即经过很短时间系统的状态几乎是不变 的。的。显然显然用（用（*）定义马氏过程的）定义马氏过程的连续性是合理的连续性是合理的 9转移密度矩阵（速率（度）矩阵，也称转移密度矩阵（速率（度）矩阵，也称Q矩阵）矩阵） （1） 定义：本书定义定义：本书定义 （2）

8、若若 ij ijij t q t tp )( lim 0 （i，j=0，1，N） 存在且有限，存在且有限， 称为马氏过程的速度函数或由状态称为马氏过程的速度函数或由状态i 转移到状态转移到状态j的转移概率密度的转移概率密度。 上式由导数定义可得上式由导数定义可得 )0( ijij pq 或定义：对于或定义：对于 ij，如果极限如果极限 )( )(|)( lim 0 tq t itXjttXP ij t 存在记存在记 则称此极限为时刻则称此极限为时刻 t 由状态由状态 i 转移到状态转移到状态 j 的的 转移概率密度。转移概率密度。 由时齐性可知，由时齐性可知， )0( )( lim)( 0 i

9、j ij t ij q t tp tq i，jE 上面两个定义是一样的上面两个定义是一样的 qij表示在单位时间内，由状态表示在单位时间内，由状态i转移到状态转移到状态j的的 平均概率。平均概率。 （2）速率矩阵，由）速率矩阵，由 qij和和 qii构成的矩阵构成的矩阵 NNNNN N N qqqq qqqq qqqq Q 210 1121110 0020100 说明：（说明：（qii是跳离是跳离i的转移密度）的转移密度） 对对任任意意的的 iE, ,若若极极限限 t itXjttXP ij t )(|)( lim 0 = = t itXittXP t )(|)(1 lim 0存在存在 则称此

10、极限为时刻则称此极限为时刻 t 跳离跳离 i 的转移概率密度（速率的转移概率密度（速率 函数） ，且知函数） ，且知 ii ii t q t tp 记记作作 )(1 lim 0，iE 注：注：qii表示在单位时间内跳离表示在单位时间内跳离i的平均概率，的平均概率， 而不是在单位时间内停留在而不是在单位时间内停留在i的概率。的概率。 （3）速率函数的性质）速率函数的性质 qii0，i=1，2，N qij0 ij i，j=1，2，N N j ij q 0 0 i=1，2，N 证明证明： N j N j ijij t ij t tp q 00 0 )( lim 0 )( lim 00 0 t tp

11、N j ij N j ij t 下面介绍下面介绍pij(t)满足的微分方程组及其求解。满足的微分方程组及其求解。 二、二、柯柯尔莫哥洛夫方程尔莫哥洛夫方程 定理一：定理一：设随机连续状态有限马氏过程的转移设随机连续状态有限马氏过程的转移 概率函数为概率函数为 pij(t)，速率函数，速率函数 qij， 则有则有 N k kjik ij qtp dt tdp 0 )( )( i，j=0，1，2 （甲）甲） 称为柯尔莫哥洛夫向前方称为柯尔莫哥洛夫向前方程程 N k kjik ij tpq dt dp 0 )( i，j=0，1，2 （乙）（乙） 称为柯尔莫哥洛夫向后方称为柯尔莫哥洛夫向后方程程 注意

12、：注意：二个方程都是关于二个方程都是关于pij(t)的线性微分方的线性微分方 程组，各包含程组，各包含(N+1)2个方程，个方程， 如果如果 qij已知 （一般可以根据过程的统计性质确定） ，已知 （一般可以根据过程的统计性质确定） ， 附加上初始条件附加上初始条件 )()0(tp ijij ， 就可解出就可解出 )(tpij ，i，j=0，1，N。 对无限状态的马氏过程， 类似进行讨论， 只对无限状态的马氏过程， 类似进行讨论， 只 需把公式中需把公式中 N 改为改为 ，可得到柯尔莫哥洛夫，可得到柯尔莫哥洛夫 向前方程和向后方程。向前方程和向后方程。 证明证明 见见 P205 柯尔莫哥洛夫方

13、程也可以用矩阵表示。柯尔莫哥洛夫方程也可以用矩阵表示。 IP QtPtP tQPtP 0 其中其中 NNNN N N qqq qqq qqq Q 21 11110 00100 为为速率矩阵速率矩阵 可通过解方程组加初始条件求可通过解方程组加初始条件求 也可通过拉氏变换求解。也可通过拉氏变换求解。 ? tpij 介绍负指数分布的无记忆性。介绍负指数分布的无记忆性。 直观理解：假定某件产品的寿命直观理解：假定某件产品的寿命X服从参服从参 数为数为 的负指数分布，即它的分布函数为的负指数分布，即它的分布函数为 00 01 x xe xF x 用过一段时间用过一段时间a后，它的剩余寿命仍然服从后，它的

14、剩余寿命仍然服从 参数为参数为 的负指数分布，而与已经使用过的的负指数分布，而与已经使用过的 时间时间 a 无关。无关。 x x x edxexF 1 0 0 x 00 0 x xe xf x x exFxXPxXP 11 当当 0, 0 ax 时，剩余寿命时，剩余寿命 aX 的分布为的分布为 aXP xaXP aXP axXaXP aXxaXP , | x a xa e e e 故故 x eaXxaXP 1| ， 0 x 表明剩余寿命仍服从参数为表明剩余寿命仍服从参数为 的负指数分布。的负指数分布。 应用举例：应用举例：一般步骤：一般步骤： 1.1.写出状态转移矩阵，并画出状态转移图写出状态

15、转移矩阵，并画出状态转移图 ( (1) ) 定义系统状态定义系统状态 要保证所定义的状态是能区分系统的的各种不同状态，要保证所定义的状态是能区分系统的的各种不同状态， 如上例如上例 tX 表示表示 t , 0 内来到的呼唤次数。内来到的呼唤次数。 , 2 , 1 , 0 E 如：系统工作（如：系统工作（1），系统故障（），系统故障（0）. . E0，1。 （2）定义随机过程，）定义随机过程， 0, ttX （3）当当 t 很小时，在很小时，在 ttt , 写出写出 tP ij 写出状态转移矩阵，写出状态转移矩阵， Eji ij tptP , 有的可以画出状态转移图有的可以画出状态转移图。 2

16、求转移速率矩阵求转移速率矩阵 Eji ij qQ , t tp q ijij t ij 0 lim i，j=1，2，3N 3求求 ji ij tptP )()( 4 求过程在时刻求过程在时刻 t 的状态转移分布，的状态转移分布， 例例 1 P206 例 2 P208 1. (1) 1表示系统在工作表示系统在工作，0表示系统故障表示系统故障. .E0,1 (2) 时时刻刻故故障障，系系统统在在 时时刻刻工工作作系系统统在在 t t tX 0 , 1 tX 表示表示 t时刻机器所处的状态 时刻机器所处的状态 )(tX ， 0 t 由条件由条件 独立，独立，t时刻以后机器的状态， 仅与在时刻以后机器

17、的状态， 仅与在t时刻的时刻的 状态以及状态以及t后剩余运转时间和剩余停止时间有关。后剩余运转时间和剩余停止时间有关。 分布特点，负指数分布无记忆性，知它是马氏过程。分布特点，负指数分布无记忆性，知它是马氏过程。 (3) 马氏过程曲线图马氏过程曲线图 状态转移图状态转移图 )()( ? 01 tottp )()( ? 01 tottp )(01 )( ? 00 tt tp )(1 )( ? 01 tot tp 01 系统工作系统工作1，系统故障，系统故障0。 因为条件因为条件机器起动到需要修理的运转期， 即连机器起动到需要修理的运转期， 即连 续 工 作 的 时 间 是 随 机 的 ， 其 密

18、 度 函 数 为续 工 作 的 时 间 是 随 机 的 ， 其 密 度 函 数 为 0, te t （服从参数为（服从参数为 的负指数分布）的负指数分布） 修理工修理一次排除故障修复机器所需的修理工修理一次排除故障修复机器所需的 时间是随机的，其密度函数为时间是随机的，其密度函数为 t e ， 0 t 独立性独立性 机器的各次运转期相互独立，机器的各次运转期相互独立， 各次修复时间也相互独立，各次修复时间也相互独立， tX 表示在表示在 t时刻机器所处的状态，时刻机器所处的状态， 因为指数分布无后效性，即：因为指数分布无后效性，即： 已知已知 )(tX 在现在在现在 （时刻（时刻 t）所处的状

19、态（不论是）所处的状态（不论是 0 还是还是 1）都）都 可以看作从现在为起点的一个新过程，新过程可以看作从现在为起点的一个新过程，新过程 起始起始状态视原来过程“现在”所处的状态而定。状态视原来过程“现在”所处的状态而定。 原来过程未来时刻（原来过程未来时刻（ ht 时刻）的状态分布时刻）的状态分布 相应于新过程在时间相应于新过程在时间h的状态分布。的状态分布。 这就说明原来过程未来时刻的状态分布不这就说明原来过程未来时刻的状态分布不 依赖于过去，而且与依赖于过去，而且与 t 无关，即具有马氏性，无关，即具有马氏性， 且是时齐的。且是时齐的。 dtetp t t 0 01 ttte t 幂级

20、数展开幂级数展开 111 故障故障工作工作 t t dtetP 0 10 )(1tote t tPtP 0100 1 tt 1 tttPtP 11 1011 写出状态转移矩阵写出状态转移矩阵 1110 0100 pp pp tP tttt tttt 1 1 每一行之和等于每一行之和等于1 2. . 求速率函数。求速率函数。 t ttt t tp q tt0 0101 0 01 limlim t tt t tp q tt0 1010 0 10 limlim t tt t tp q tt 11 limlim 0 0000 0 00 11 q Q速率矩阵速率矩阵 每行之和每行之和0 3求出求出 Ej

21、i ij tptP , )()( 列 出 柯 尔 莫 哥 洛 夫 方 程列 出 柯 尔 莫 哥 洛 夫 方 程 QtPtP tptp tptp 1110 0100 即即 1110 0100 1110 0100 qq qq tptp tptp 注意注意： 1 10 tptp ii tpp ii01 1 i=0，1 四个方程组，可求出其中两个，问题可解四个方程组，可求出其中两个，问题可解 求解求解 柯尔莫哥洛夫向前方程柯尔莫哥洛夫向前方程 1000 0010 )( )( 1101 1000 111 100 pp pp tptptp tptptp iii iii 已知已知 初始条件初始条件 乙乙 甲

22、甲 1 , 0 i 法一：一阶线性微分方程组。法一：一阶线性微分方程组。P209 1 10 tptp ii 即即 tptp ii01 1 代入上面甲式代入上面甲式 tptptp iii000 1 tptp ii00 即即 1 , 0 0 iCetp t i 利用利用 , 10 00 p 00 10 p 确定常数确定常数i C . . 10 0 00 Cep 1 0 C 00 0 10 Cep 1 C t etp 00 故故 t etp 10 再利用再利用 )(1)( 01 tptp ii 代入（乙）式，代入（乙）式， t etp 01 t etp 11 可以得到可以得到 法二：柯尔莫哥洛夫法二

23、：柯尔莫哥洛夫方程方程 矩阵表示矩阵表示 )( )0( )()( )()(甲甲 IP QtPtp tQptp 可以用拉氏变换求解可以用拉氏变换求解 设设 * sPtPL 对对 QtPtP 两边作拉氏变换两边作拉氏变换， QtPLtP dt d L)( QsPPssP * * 0 整理整理 11 * 0 QsIQsIPsP 再对上式两边进行逆变换，得乙式解为再对上式两边进行逆变换，得乙式解为 1 1 QSILtP 本例：本例： s s s s QsI 0 0 ssQsI ss 1 QsI s s ss 1 将系数代入各项，且写成部分分式形式将系数代入各项，且写成部分分式形式 上式上式 ssss

24、ssss 1 1 QsILtP tt tt ee ee 1 1 4. .求过程在时刻求过程在时刻t t的状态概率分布。的状态概率分布。 tpptp ij i ij 0Ej 矩阵表示矩阵表示 tptptp n , 21 tptptp tptptp ppp nnnn n n 21 11211 21 0,0,0 tPBtB0 即即 本例中本例中 t etp 1 t etp 1 2 将讨论一下将讨论一下 t 系统状态，遍历性系统状态，遍历性 例例3 目的：考察一个服务窗口前顾客排队的情况。目的：考察一个服务窗口前顾客排队的情况。 第一步：定义第一步：定义X(t)，写出，写出P(t) （1）假设假设 t

25、X 表示表示t时刻队长（队的顾客数） ，由时刻队长（队的顾客数） ，由 条件知排队场地最多可以容纳条件知排队场地最多可以容纳N个人，个人， NE, 2 , 1 , 0 0, ttX 是马氏过程，（因为是马氏过程，（因为t时刻以后顾客来时刻以后顾客来 到情况与到情况与 t 以前无关）条件独立。以前无关）条件独立。 itX 表示表示t时刻队上有顾客时刻队上有顾客 i个人 个人。 （2）求求 ? tpij 由题意知，顾客接受服务的时间长度服从参由题意知，顾客接受服务的时间长度服从参 数为数为 的负指数分布，即密度的负指数分布，即密度 t e 0 t 所以知一个在所以知一个在 t 时刻正在接受服务的顾

26、客在时刻正在接受服务的顾客在 ),(ttt 的时间中结束服务，的时间中结束服务， ( (即其剩余服务时间即其剩余服务时间 tY , ,其概率为其概率为) ) ttetYP t 幂级数展开幂级数展开1 负指数分布函数负指数分布函数 * 1, tp ii表示表示 t时刻队长为时刻队长为i（0 使使 pij(t0)0， i，j=0，1，2，N 则则此过程是遍历的此过程是遍历的 例例 4 P213 四四. 独立增量过程独立增量过程 P215 1 定义： 随机过程定义： 随机过程 ), 0(),( ttX 满足两个满足两个 条件条件 （1）X(0)0； （2）对任何整数对任何整数 m(m3)和任和任 m

27、 个个时刻时刻 t1，t2， tm(0，t1t20 2均均值值 ttXEtmX 方差方差 ttDX 自相关函数自相关函数 2121 2 21 ,min,ttttttRX 可可知知 t tEX 因此，过程强度因此，过程强度 代表单位时间内质点出现的平代表单位时间内质点出现的平 均个数。均个数。于是，常称于是，常称 为泊松过程的速率（平均为泊松过程的速率（平均 到达率） ，或平均率或强度或比率。到达率） ，或平均率或强度或比率。 例例 1： 设通过某十字路口的车流可看作设通过某十字路口的车流可看作 Poisson 过程。过程。如果一分钟内没有车辆通过的如果一分钟内没有车辆通过的 概率为概率为 0.

28、2， ( (1) ) 求求 2 2 分钟内有多于分钟内有多于 1 辆车通过的概率。辆车通过的概率。 ( (2) ) 在在 5 分钟内平均通过的车辆数。分钟内平均通过的车辆数。 ( (3) ) 在在 5 分钟内通过的车辆数的方差。分钟内通过的车辆数的方差。 ( (4) ) 在在 5 分钟内至少有分钟内至少有 1 辆车通过的概率。辆车通过的概率。 解：依题意，解：依题意， 0, ttX 是泊松过是泊松过程，程， t n e n t ntXP ! ，n=0，1，2 由条件：由条件： 2 . 001 eXP =ln0.2 ( (1) ) 22 2112112 eeXPXP 83. 02 . 0ln21

29、 2 . 0ln22 . 0ln2 ee ( (2) ) 2 . 0ln55 XE （3） 2 . 0ln55 XD （4） 2 . 0ln5 105105eXPXP 5 2 . 01 例例 2某某商商场场为为了了调调查查顾顾客客到到来来的的客客源源情情况况，考考察察 了了男男女女顾顾客客来来商商场场的的人人数数。假假设设男男女女顾顾客客到到达达商商 场场的的人人数数分分别别独独立立的的服服从从每每分分钟钟 1 人人与与每每分分钟钟 2 人人的的 Poisson 过过程程。 （1）到达商场顾客的总人数应该服从什么分布？到达商场顾客的总人数应该服从什么分布？ （2）在已知在已知 t 时刻已有时刻

30、已有 50 人到达的条件下，问其人到达的条件下，问其 中有中有 30 位女性顾客的概率有多大？平均有位女性顾客的概率有多大？平均有 多少个女性顾客？多少个女性顾客？ 解： （解： （1） 记记 tYtX, 分别为分别为 t , 0 时间段内到达时间段内到达 商场的男女顾客人数商场的男女顾客人数 且知且知 t k e k t ktXP 1 ! 1 k=0，1，2 1 1 t m e m t mtYP 2 ! 2 m=0，1，2 2 2 在在 t , 0 时段内到达商场的男女顾客数为时段内到达商场的男女顾客数为 tYtXtZ n k kntYktXPntYtxPntZP 0 , n k kntYP

31、ktXP 0 独独立立性性 t kn t n k k e kn t e k t 21 ! 2 0 1 knk n k t tt knk n e n 21 0 ! ! ! 1 21 ！ t n et n 21 21 ! 1 故故 tYtXtZ 服从参数为服从参数为21 的的 Poisson 分布。分布。 独立的泊松过程之和仍是泊松过程，此结论可以直接用。独立的泊松过程之和仍是泊松过程，此结论可以直接用。 （2） ntYtXktYP | )()( )(,)()( ntYtXP ktYntYtXP ntYtXP ktYkntXP , t n t k t kn e n t e k t e kn t 2

32、1 21 ! ! 21 21 独立性独立性 knk k n C 21 1 21 2 设在已知设在已知 t 时刻有时刻有 50 n 到达条件下，到达条件下， 其中有其中有 30 k 位女性顾客的概率是位女性顾客的概率是 2030 30 50 3 1 3 2 C 由于在已知由于在已知 tYtXtZ 的条件下，的条件下， tY 服从二项分服从二项分 布， 由二项分布期望公式得到 （二项分布期望是布， 由二项分布期望公式得到 （二项分布期望是np） ，） ， ntYtXtYE | knk n k k n Ck 21 1 21 2 0 21 2 n 因此，因此，在已知在已知 t 时刻时刻已有已有 50 人到达的条件下，人到达的条件下， 其中女性顾客到其中女性顾客到到达平均有到达平均有 3 .33 21 250 四计数过程与泊松过程四计数过程与泊松过程 1定义三定义三 在时间在时间 , 0 内出现随机事件内出现随机事件 A的总数所组成的总数所组成 的随机过程的随机过程 , 0,ttN 称它为计数过程。称它为计数过程。 如果把这里的随机事件如果把这里的随机事件A看作质点，则计看作质点，则计 数过程又可称为随机点过程或简称流。数过程又可称为随机点过程或简称流。 由定义出发，可知任一计数过程应