应用随机过程--第五章汇编

1、定义定义5.15.1：,),(TttX 设设随随机机过过程程, 2 , 1 , 0 T其中其中),(, 1 , 0nXnXn，或，或（或（或 2 , 1 ,0 S状状态态空空间间,n若若对对任任意意一一时时刻刻jiiiinn,110 以以及及任任意意状状态态有有),|(1111001nnnnniXiXiXiXjXP )|(1nnniXjXP 链链为一为一则称则称MarkovnXn0 .（或马氏链）（或马氏链）定义定义5.25.2：中中的的条条件件概概率率称称定定义义1 .5)|(1nnniXjXP )(npij , 1 , 0 nXMarkovn链链为为的的一一步步转转移移概概率率，.简简称称

2、为为转转移移概概率率定义定义5.35.3：有有关关，只只与与当当jiiXjXPnnn,)|(1 n而而与与无无关关时时，即即)|(1nnniXjXP )(npij ijp ).(时时齐齐的的链链为为齐齐次次的的称称Markov。非非时时齐齐的的否否则则，称称为为非非齐齐次次的的)(2 . 转移概率转移概率注注：有定义有定义5.15.1知知),(1100nniXiXiXP),|(111100nnnniXiXiXiXP),(111100 nniXiXiXP )|(11nnnniXiXP),(2200 nniXiXP),|(220011 nnnniXiXiXP )|(11nnnniXiXP)|(22

3、11 nnnniXiXP)()|(000011iXPiXiXP nniiiiiPPP1210 问问题题之之一一。链链理理论论和和应应用用中中的的重重要要是是何何确确定定这这个个条条件件概概率率如如来来决决定定特特性性完完全全由由条条件件概概率率其其统统计计）给给定定链链的的初初始始分分布布一一旦旦可可见见MarkovpiXjXPiXPMarkovijnnn,)|(,(,100 转转移移概概率率矩矩阵阵 222120121110020100pppppppppPPij简简称称为为转转移移矩矩阵阵。转移矩阵的性质：转移矩阵的性质：SjiPij , 0)1( jijSiP, 1)2(定义定义5.45.

4、4：为为随随机机矩矩阵阵，称称矩矩阵阵SSijaA )(),(0Sjiaij 若若 jijaSi. 1,且且显显然然 是是一一随随机机矩矩阵阵。ijPP 3 . Markov链的例子链的例子例例5.15.1：带有带有两两个吸收壁的随机游动：个吸收壁的随机游动：此时此时2 , 1 , 0),( nnX是一齐次马氏链是一齐次马氏链,状态空间为状态空间为, 2 , 1 , 0nSn, 0为两个吸收状态为两个吸收状态,它的一步转移它的一步转移概率为：概率为：)(0)0(011) 11; 1, 1(0) 11 (1) 11 (00011njpjpppniiijpnipqpnippjnjnnjii ii

5、i例例5.25.2：它的它的一步转移概率一步转移概率矩阵矩阵为：为：)1()1(100000000000000000000000000000000000001nnpqpqpqP例例5.35.3：例例5.45.4：例例5.55.5：链链。个个要要从从上上述述问问题题中中寻寻找找一一现现在在我我们们立立同同分分布布且且独独间间，每每天天的的需需求求量量设设订订货货和和进进货货不不需需要要时时若若若若额额为为：则则订订购购剩剩余余量量，设设为为每每天天早早上上检检查查某某商商品品的的订订货货策策略略，店店使使用用考考虑虑订订货货问问题题。设设某某商商MarkovjajYPYsxsxxSxSsjnn,

6、2 , 1 , 0, 0,),( 则则可可取取负负值值设设天天结结束束时时的的存存货货量量为为第第令令),(nnXnX 1nXsx 若若,1 nnYXsx 若若1)( nnnYXSX1 nYS .,1,是写出它的转移概率是写出它的转移概率链链是是因此因此MarkovnXn 时，时，当当siXn )1()|(1iXjXPPnnij )(1jYSPn )(1jSYPn jsa 时时，当当siXn )2(解：解：)|(1iXjXPPnnij )|(1iXjYXPnnn )(1jiYPn jia 4. n步转移概率步转移概率 C-K方程方程定义定义5.5（n步转移概率）步转移概率）称称|)(iXjXP

7、Pmnmnij 1, 0, nmSji步步转转移移概概率率。链链的的为为nMarkov即：即：的的步步转转移移到到状状态态经经过过指指的的是是系系统统从从状状态态jniPnij)(,概率概率求求。步步转转移移经经过过的的状状态态无无要要它它对对中中间间的的)1( n称称)()()(nijnPP 步转移矩阵n时时，当当1 nPPPPijij )1()1(，规定规定jijiPij 10)0(的关系如下：的关系如下：与与ijnijPP)(定理定理5.1: (Chapman-Kolmogorov方程，简称方程，简称C-K方程方程)，对对一一切切0, nm有有Sji ,Sknkjmiknmijppp)(

8、)()(1）（nnnnPPPPPPP )2()1()(2）（例例5.65.6：的概率。次以后还是正面是正面，投掷概率矩阵，并求一开始翻转，求一步转移以概率在每一次投掷时，硬币次，面，我们一共投掷了，假定硬币初始时为正，为了书写方便，令，于是状态空间为，和币的正面反面分别记为考察掷硬币的例子。硬4%205021 ,DUDUSDU例例5.75.7: (: (隐隐MarkovMarkov模型）模型）硬硬币币，在在任任何何给给定定时时刻刻两两枚枚和和硬硬币币，分分别别记记为为链链模模型型。设设有有两两枚枚隐隐我我们们用用简简单单的的例例子子引引出出WMMarkov或者为正面或者为反面或者为正面或者为反

9、面.在任何给定时刻只有一枚硬在任何给定时刻只有一枚硬呈现，但是有时硬币可能被替换而不改变其正反面呈现，但是有时硬币可能被替换而不改变其正反面.硬币硬币M和和W分别具有转移概率分别具有转移概率 8 . 02 . 02 . 08 . 0 95. 005. 01 . 09 . 0在任何给定时刻硬币被替换的概率为在任何给定时刻硬币被替换的概率为30%,替换完成时，替换完成时，硬币的状态不变硬币的状态不变. 这一这一Markov链有链有4个状态，分别个状态，分别记为记为1:UM; 2:DM; 3:UW; 4:DW.状态状态1、3表示正面表示正面U,状态状态2、4表示反面表示反面D转移矩阵为转移矩阵为44

10、的矩阵的矩阵.我们我们可以计算转移概率可以计算转移概率,比如比如UMUM ,首先首先UU (无转移无转移),而后而后MM (无转移无转移).因此转移概率为因此转移概率为56. 07 . 08 . 0)()|( MMPMUUP其他转移概率类似可得，转移方式为其他转移概率类似可得，转移方式为 DWDWUWDWDMDWUMDWDWUWUWUWDMUWUMUWDWDMUWDMDMDMUMDMDWUMUWUMDMUMUMUM转移概率矩阵为转移概率矩阵为 3 . 095. 03 . 005. 07 . 095. 07 . 005. 03 . 01 . 03 . 09 . 07 . 01 . 07 . 09

11、 . 03 . 08 . 03 . 02 . 07 . 08 . 07 . 02 . 03 . 02 . 03 . 08 . 07 . 02 . 07 . 08 . 0例例5.85.8: :一一步步转转移移矩矩阵阵为为：的的齐齐次次马马氏氏链链，其其个个状状态态是是具具有有设设2 , 1 , 030, nXn 4143041214104143P,31)()0(0 iXppi其初始分布为：其初始分布为：试求：试求：.0|1, 1)2(1, 1, 01042420 XXXPXXXP；）（带有带有两两个个反射反射壁的随机游动：壁的随机游动：此时此时2 , 1 , 0),( nnX是一齐次马氏链是一齐

12、次马氏链,状态空间为状态空间为, 2 , 1 , 0aS a, 0为两个为两个反射反射状态状态,求求它的一步转它的一步转移移概率概率。作业作业1 1：作业作业2:2:少少？为为雨雨天天的的概概率率各各等等于于多多日日月月日日为为晴晴天天，月月问问日日为为晴晴天天月月矩矩阵阵，又又已已知知的的一一步步转转移移概概率率），试试写写出出马马氏氏链链或或（天天的的状状态态表表示示第第表表示示雨雨天天表表示示晴晴天天，以以逆逆事事件件，任任意意一一天天晴晴或或雨雨是是互互为为转转雨雨天天的的概概率率为为，晴晴天天雨雨天天转转晴晴天天的的概概率率为为设设任任意意相相继继两两天天中中5535,151,10,

13、10,2131, nXnXnn5.3 状态的分类及性质状态的分类及性质引入：引入：自自然然转转移移概概率率矩矩阵阵为为维维修修及及更更换换条条件件下下，其其在在没没有有链链是是一一的的状状态态。并并设设表表示示系系统统在在时时刻刻失失效效。以以”“正正常常”“良良好好；”“设设系系统统有有三三种种可可能能状状态态,0,3;21,1,2,3MarkovnXnXSnn 10010110902012022017P定义定义5.7，可可达达状状态态称称状状态态使使得得若若jiPnnij, 0, 0)( 。互互通通，记记为为与与这这称称若若同同时时记记为为jijiijji,.注：注：，则则意意味味着着不不

14、能能到到达达状状态态若若状状态态ji. 0, 0)( nijPn有有对对一一切切定理定理5.3：即满足：即满足：互通是一种等价关系，互通是一种等价关系，；自反性自反性ii )1(,)2(ji 对称性对称性,)3(kjji传传递递性性.ki 则则; ij 则则注：注：不不同同的的类类。同同时时属属于于两两个个并并且且任任何何一一个个状状态态不不能能都都是是互互通通的的态态归归为为一一类类，则则同同一一类类状状把把任任何何两两个个相相通通的的状状态态,定义定义5.8:可可约约的的。是是不不可可约约的的，否否则则称称为为例例1：其其一一步步转转移移链链的的状状态态空空间间设设,2 , 1 , 0 S

15、Markov概率矩阵为：概率矩阵为： 3231041412102121P则则称称此此马马氏氏链链链链只只存存在在一一类类若若,Markov.,画画出出状状态态传传递递图图并并试试研研究究各各状状态态的的关关系系定义定义5.9 (周期性周期性)是是非非周周期期的的。，称称状状态态是是周周期期的的；若若称称状状态态若若的的周周期期为为状状态态公公约约数数非非空空，则则称称它它的的最最大大若若集集合合ididiiddPnnnii1, 1.)(0, 1,)( 规定：规定：.的的周周期期为为无无穷穷大大当当该该集集合合是是空空集集时时，称称 i例例2 (书书5.14)注注1：的的周周期期。是是步步长长达

16、达到到，但但仍仍称称不不能能通通过过显显然然12211 注注2：. 0)( ndiiPnd都都有有是是周周期期，并并非非所所有有若若. 01)1(11 dPn时，时，如上例中，如上例中，可可能能的的步步长长为为由由0)(11 nP,10, 8 , 6 , 4 T，最最大大公公约约数数为为 221( ）所所有有dd定理定理5.4：同同属属一一类类，若若状状态态ji)()(jdid 则则证明：板书。证明：板书。注注: 当两个状态的周期相同时，有时其状态之间当两个状态的周期相同时，有时其状态之间 有显著差异。有显著差异。如：如：,4 , 32 , 1，马马氏氏链链的的状状态态空空间间 S其一步转移概

17、率矩阵其一步转移概率矩阵 010010000210210010P的的区区别别。状状态态并并比比较较求求3 , 2),3(),2(dd定义定义5.10: (常返性常返性)的的概概率率，达达步步后后首首次次到到出出发发经经记记从从以以对对任任何何状状态态jnifjinij)(,. 0)0( ijf则则有有时时，1 n|1,2 , 1,0)(iXnkjXjXPfknnij ，令令 1)(nnijijff，若若1 jjf.为为常常返返状状态态称称状状态态 j，若若1 jjf为为非非常常返返状状态态称称状状态态 j（或或瞬瞬过过状状态态、.瞬瞬时时状状态态、滑滑过过状状态态）)(1 nnAP ninAP

18、1)( 1)(nnijfijf 注注2：为为常常返返当当的的概概率率有有限限步步到到达达出出发发表表示示从从ijifij.,:滑滑过过去去了了。，即即从从过过程程不不再再回回到到率率以以概概为为非非常常返返状状态态时时；当当新新返返回回将将重重出出发发，在在有有限限步步内内过过程程从从状状态态时时，以以概概率率iiffifiiiiiiii 1),1()1(1注注3：, i对对于于常常返返状状态态)(1)(加加权权平平均均定定义义 nniiinf ).(时时间间所所需需的的平平均均步步数数出出发发再再返返回回到到表表示示从从则则iii ,|1, 2 , 1,:0iXnkjXjXAknn 设设含含

19、义义所以所以到达到达步以后可以从步以后可以从程经程经使得过使得过表示总有一个表示总有一个是不相交的，是不相交的，不同时不同时在在,1jinnAAnnnn 注注1：例例3定义定义5.11为为正正常常返返态态；则则称称若若对对于于常常返返状状态态iii, 为为零零常常返返态态；，则则称称若若ii 是是正正常常返返若若特特别别地地i,且且是是非非周周期期的的，.则则称称之之为为遍遍历历状状态态,是是遍遍历历状状态态若若i, 1)1( iif且且.是是吸吸收收状状态态则则称称i.1 i 显显然然此此时时的的状状态态空空间间已已知知马马氏氏链链, 2 , 1 , 0, nXn其其一一步步转转移移概概率率

20、为为00010100021021210021P.1,1 其其平平均均转转回回时时间间状状态态并并确确定定周周期期性性及及遍遍历历性性试试确确定定其其状状态态的的常常返返性性,4 , 32 , 1， S例例4的的状状态态空空间间已已知知马马氏氏链链, 2 , 1 , 0, nXn,4 , 32 , 1， S其其一一步步转转移移概概率率为为 001002121000013131310P.,周周期期性性及及遍遍历历性性试试确确定定其其状状态态的的常常返返性性可可以以证证明明：常常返返、非非常常返返等等）的的状状态态（同同正正常常返返、零零它它们们有有相相同同同同一一类类的的状状态态, ji引理引理5

21、.1 （ ）的关系与给出了)()(niinijfp有有及及，对对任任意意状状态态,1 njinllnjjlijnijpfp1)()()(定理定理5.5为为常常返返状状态态当当且且仅仅当当状状态态i)1( 0)(nniiP 0lim. 1)( niinPi为正常返态为正常返态0lim. 2)( niinPi为零常返态为零常返态)0lim()( niinP或或为为非非常常返返态态时时，状状态态i)2(iinniifP-110)( 0lim)( niinP因此有因此有引理引理5.2为为常常返返态态，且且若若iji,1 jif则则定理定理5.6常常返返性性是是一一个个类类性性质质：.,1(或或非非常常

22、返返状状态态同同为为常常返返状状态态则则若若）jiji .,2(或或同同为为零零常常返返状状态态同同为为正正常常返返则则同同为为常常返返态态且且若若）jijiji 非周期（遍历态）非周期（遍历态）有周期有周期正常返态正常返态零常返态零常返态常返态常返态非常返态非常返态状态状态作业作业1：,54 , 32 , 1，设设马马氏氏链链的的状状态态空空间间 S其其一一步步转转移移概概率率 00001000016 . 04 . 00008 . 02 . 0000005 . 05 . 00P.,周周期期性性及及遍遍历历性性试试确确定定其其状状态态的的常常返返性性 闭集及状态空间的分解定理闭集及状态空间的分

23、解定理.,CMarkov一一个个闭闭集集状状态态的的全全体体构构成成因因此此状状态态空空间间中中的的常常返返常常返返状状态态只只能能到到达达链链从从一一个个常常返返状状态态出出发发任任意意 闭集：闭集：.,闭闭集集为为一一个个则则称称外外的的任任何何状状态态都都不不能能到到达达个个状状态态内内的的任任何何一一若若的的一一个个子子集集为为状状态态空空间间设设CCiCSC.,为为吸吸收收态态则则称称状状态态是是闭闭集集构构成成的的集集合合如如果果单单个个状状态态iii 相关性质：相关性质：是是闭闭集集C)1()0(0,)( nPCjCinij有有是是闭闭集集C)2(CipCjji ,1为为吸吸收收

24、态态i)3(1 i ip齐齐次次马马氏氏链链不不可可约约)4(任何两个状态均互通任何两个状态均互通)5(所有常返态构成一个闭集所有常返态构成一个闭集)6(在不可约马氏链中在不可约马氏链中,所有状态具有相同的状态所有状态具有相同的状态类型类型. 状态空间分解定理：状态空间分解定理：定理定理5.7：可可唯唯一一分分解解为为链链的的状状态态空空间间任任意意,SMarkov,21之之和和交交的的子子集集有有限限个个或或可可列列个个互互不不相相CCD使使得得;)1(约约闭闭集集是是常常返返状状态态组组成成的的不不可可每每一一个个nC., 1,.,)2(nijnCjifC 且且它它们们有有相相同同的的周周

25、期期零零常常返返态态或或者者全全是是或或者者全全是是正正常常返返态态中中的的状状态态同同类类.)3(中中的的状状态态达达中中状状态态出出发发不不能能到到自自由由全全体体非非常常返返态态组组成成DCDnnCCCDS 21例例5,54 ,32 , 1，设设马马氏氏链链的的状状态态空空间间 S其其一一步步转转移移概概率率矩矩阵阵为为 00010000010010000210210210021P.,状态空间进行分解并将此闭集态试讨论哪些状态是吸收例例6：其转移概率其转移概率，设马氏链的状态空间设马氏链的状态空间,21 , 0 S.,21,21,2101,00SiPPPiii 为为.期期，并并指指出出其

26、其常常返返性性和和周周将将此此状状态态空空间间进进行行分分解解作业作业1：,6 ,54 ,32 , 1，设设马马氏氏链链的的状状态态空空间间 S其其一一步步转转移移概概率率矩矩阵阵为为 21000210000001003103131010000100000000100P.,并指出其常返性和周期并指出其常返性和周期，将此状态空间进行分解将此状态空间进行分解并并试画出状态的链式图试画出状态的链式图周期链分解定理：周期链分解定理：定理定理5.8：其其状状态态空空间间链链的的不不可可约约一一个个周周期期为为,Markovd，即即个个互互不不相相交交的的子子集集之之和和可可唯唯一一分分解解为为 dS,1

27、-0srSSSSsrdrr ).1,01SSSSdrr 中中（其其中中步步转转移移必必进进入入经经中中任任意意状状态态出出发发且且使使得得自自5.4 极限定理与不变分布极限定理与不变分布5.4.1 极限极限定理定理研研究究链链是是一一个个平平稳稳序序列列，即即条条件件下下人人们们常常常常关关心心在在什什么么链链应应用用中中在在必必要要的的虑虑它它的的长长期期性性是是很很有有对对于于一一个个系系统统来来说说，考考MarkovMarkov,.,)(limlim)()(PPPnijnnn是是否否趋趋于于稳稳定定值值 是是否否存存在在？即即转转化化为为研研究究)(limnijnP 例例8（书例（书例5

28、.17）(0-1传输系统）传输系统）?limlim10,11)(PPPpqqqppPMarkovnnnn是是否否趋趋于于稳稳定定值值试试讨讨论论为为链链的的一一步步转转移移概概率率矩矩阵阵设设 解得：解得：nnnnPP limlim)( qppqpqqppqpq含含义义深深刻刻，此此处处).(定定长时间转移后，概率一长时间转移后，概率一的极限的极限步转移概率有一个稳定步转移概率有一个稳定链的链的可见，此可见，此nMarkov)(0limninp qpq ,0 )(1limninp qpp .1 .jjij 的的概概率率都都趋趋近近于于到到状状态态出出发发，通通过过长长时时间间转转移移状状态态，

29、不不管管链链在在某某一一时时刻刻的的即即，对对于于固固定定的的状状态态450lim)(niinp01lim)(iniinp 推论推论 设设i常返，则常返，则(1) i零常返零常返(2) i遍历遍历indiindp )(lim0lim)(ndiinp定理定理5.9 设设i常返且有周期为常返且有周期为d，则则其中其中 i为为i的平均返回时间的平均返回时间.当当 i = 时时46，从而，从而iindiindp 0lim)(0lim)(ndiinp证证:(1)i零常返零常返, i= , 由定理由定理5.9知，知，0lim0)()(niinmiipp，故对对d的非整数倍数的的非整数倍数的m，0lim)(

30、niinp0lim)(ndiinp从而子序列从而子序列i是零常返的是零常返的47为为正正常常返返，ipiiniin,01lim)( indiinindiindpp )()(lim9 . 51lim，而而由由定定理理01limlim)()(iniinindiinpdp 即即(2) i是遍历的，是遍历的，d=1， i ，子序列子序列所以所以d=1，从而从而i为非周期的，为非周期的，i是遍历的是遍历的定理定理5.10 ,Sij 态态，则则为为非非常常返返状状态态或或零零常常返返若若0lim)( nijnp结论：结论： ，有有，则则对对任任何何状状态态链链，其其状状态态空空间间为为的的、周周期期为为设

31、设不不可可约约的的、正正常常返返的的）推推论论SjijiSMarkovd ,4 . 5()1( )(limndijnP 其它其它同属于子集同属于子集与与若若0rjSjid .8 . 51-0所所给给出出为为定定理理其其中中drrSS ，有有时时，则则特特别别地地，当当Sjid ,1jnijnP 1lim)( ),(,时时间间所所需需的的平平均均步步数数出出发发再再返返回回到到自自它它表表示示是是一一个个重重要要的的量量链链理理论论中中在在jjMarkovj 代代所以所以j 1.的的平平均均次次数数到到出出发发每每单单位位时时间间内内返返回回表表了了自自jj的的计计算算方方法法。种种给给出出了了

32、另另外外一一平平稳稳分分布布下下节节通通过过不不变变分分布布计计算算的的并并不不是是很很容容易易的的计计算算公公式式，但但是是虽虽然然我我们们有有了了jjj )(,有限马氏链的性质有限马氏链的性质)2(a) 所有非常返状态组成的集合不可能是闭集所有非常返状态组成的集合不可能是闭集; ;(b)没有零常返状态没有零常返状态;(c)必有正常返状态必有正常返状态;(d)不可约有限马氏链只有正常返态不可约有限马氏链只有正常返态;(e)状态空间可以分解为状态空间可以分解为:kCCCDS21 其中：每个其中：每个knCn, 2 , 1, 均是由正常返状态均是由正常返状态组成的有限不可约闭集，组成的有限不可约

33、闭集，D是非常返态集。是非常返态集。51, 0lim)(nijnp, 0limlim10)(0)(NjnijnNjnijnpp注注1： 有限状态的马氏链，不可能全是非常返状态，有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态也不可能含有零常返状态，从而不可约的有限状态的马氏链必为正常返的。的马氏链必为正常返的。证证 设设S=0,1,N，如如S全是非常返状态全是非常返状态，则对任意，则对任意 i, j I，知知 故故矛盾。矛盾。如如S含有零常返状态含有零常返状态 i，则则C=j:ij是有限不可约闭集是有限不可约闭集，由定理知，由定理知，C中均为零常返状态，知中

34、均为零常返状态，知52,1)(CjnijpCjpnijn, 0lim)(矛矛盾盾。, 0limlim1)()(CjnijnCjnijnpp由引理知由引理知所以所以53矛矛盾盾。, 0limlim1)()(CjnijnCjnijnpp注注2: 如马氏链有一个零常返状态，则必有无限多个如马氏链有一个零常返状态，则必有无限多个证证 设设i为零常返状态为零常返状态，则则C=j:ij是不可约闭集，是不可约闭集，C中均为零常返状态，故中均为零常返状态，故C不能是有限集。否则不能是有限集。否则零常返状态。零常返状态。540, 1jIjjIiijijp 称概率分布称概率分布 j , j I为马尔可夫链为马尔可

35、夫链的平稳分布（不变分布），若的平稳分布（不变分布），若设设Xn,n 0是齐次马尔可夫链，状态空间为是齐次马尔可夫链，状态空间为I，转移转移概率为概率为pij5.4.2不变分布不变分布 (平稳分布平稳分布)与极限分布与极限分布定义定义5.12，转转移移矩矩阵阵为为即即若若概概率率分分布布为为Pn,21 P 有有平平稳稳分分布布_一、一、不变分布不变分布 (平稳分布平稳分布)55注：注：(1) 若初始概率分布若初始概率分布 pj , j I 是平稳分布，则是平稳分布，则Iinijijp)( (2) 对平稳分布对平稳分布 j , j I，有有)(nijp矩阵形式矩阵形式 = 其中其中 =( j)，

36、 ( )pj = pj(1)= pj(2) = = pj(n)的分布为的分布为则则是平稳分布是平稳分布若若因为因为10,XPjXPj 1jXP |001iXPiXjXPIi iIiijPP ijIiiPP jP 布，有因为，对于一个平稳分P 2P nP )(nP)(nP 56二、遍历性的概念与极限分布二、遍历性的概念与极限分布对于一般的两个状态的马氏链对于一般的两个状态的马氏链, 由上节内容可知由上节内容可知,有有极极限限时时当当)(,1,0nijPba .limlim0)(10)(00 babPPnnnn.limlim1)(11)(01 baaPPnnnn意义意义对固定的状态对固定的状态j,

37、不管链在某一时刻的什么不管链在某一时刻的什么状状态态 i出发出发, 通过长时间的转移到达状态通过长时间的转移到达状态 j 的概率都趋的概率都趋.j近于近于定义定义5.13极极限限链链对对于于遍遍历历的的的的正正常常返返状状态态周周期期为为状状态态相相通通且且均均是是链链是是遍遍历历的的，如如果果所所有有称称,.1MarkovMarkovIjPjnijn ,lim)( 链的极限分布。链的极限分布。称为称为Markov知知，由由定定理理11. 5jj 1 58或定义或定义若对于所有若对于所有间为间为设齐次马氏链的状态空设齐次马氏链的状态空, I存存在在极极限限转转移移概概率率的的)(,nijPIj

38、i )(lim)(iPjnijn不不依依赖赖于于 jjjnnnPP 212121)()(或或则称此链具有则称此链具有遍历性遍历性.),(, 121为为链链的的极极限限分分布布则则称称若若 jj定理定理5.13链链：对对于于不不可可约约非非周周期期的的 Markov若它是遍历的，若它是遍历的，）（1),(0lim)(IjPnijnj 则则；布布且且是是唯唯一一的的平平稳稳分分布布此此时时极极限限分分布布是是平平稳稳分分不存在。不存在。则平稳分布则平稳分布为零常返的为零常返的若状态都是瞬过的或全若状态都是瞬过的或全）（,260Ijj,1 定理定理 不可约非周期马尔可夫链是正常返的充要条件不可约非周

39、期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布是存在平稳分布，且此平稳分布就是极限分布推论推论2 若不可约马尔可夫链的所有状态是非常返或若不可约马尔可夫链的所有状态是非常返或零常返，则不存在平稳分布零常返，则不存在平稳分布.推论推论1 有限状态的不可约非周期马尔可夫链必存在有限状态的不可约非周期马尔可夫链必存在 平稳分布。平稳分布。61jjnjnp 1lim)(推论推论3 若若 j , j I是马尔可夫链的平稳分布，则是马尔可夫链的平稳分布，则jnjinnnpjXP )(limlim即即：limjXPnn 故故所取的值与初始状态的分布无关。所取的值与初始状态的分布无关。

40、证：由于：证：由于： IinjiIinniXPpiXPiXjXPjXP0)(00故故)(000)(limlimlimnjinjIijIijIinjinnnpiXPiXPiXPpjXP 629 . 005. 005. 01 . 08 . 01 . 02 . 01 . 07 . 0P例例1 设马尔可夫链的转移概率矩阵为设马尔可夫链的转移概率矩阵为求马尔可夫链的平稳分布及各状态的求马尔可夫链的平稳分布及各状态的平均返回时间。平均返回时间。即，经过无穷次转移后处于即，经过无穷次转移后处于j状态的概率与初始状态的概率与初始状态无关，与初始状态的分布也无关。状态无关，与初始状态的分布也无关。6319 .

41、01 . 02 . 005. 08 . 01 . 005. 01 . 07 . 0321321332123211 5882. 02353. 01765. 0321 70. 11,25. 41,67. 51332211 解解 因为马尔可夫链是不可约非周期有限因为马尔可夫链是不可约非周期有限状态的，所以平稳分布存在，设状态的，所以平稳分布存在，设则则 = P， 1+ 2+ 3=1. 即即各状态的平均返回时间为各状态的平均返回时间为 =( 1, 2, 3 )645 . 05 . 0000005 . 005 . 0000005 . 05 . 00000000001000010000005 . 05 .

42、 000004 . 02 . 02 . 01 . 01 . 0P例例2 设马尔可夫链转移概率矩阵为设马尔可夫链转移概率矩阵为求每一个不可约闭集的平稳分布。求每一个不可约闭集的平稳分布。6556712430.1解解 从状态转移图看出，状态空间可分解为从状态转移图看出，状态空间可分解为两个不可约常返闭集两个不可约常返闭集 C1=2,3,4 和和 C2=5,6,7，一个非常返集一个非常返集 N=1。 在常返集上求平稳分布：在常返集上求平稳分布：660011005 . 05 . 00P15 . 05 . 04323242342

43、 4 . 02 . 04 . 0432 在在C1上，对应的转移概率矩阵为上，对应的转移概率矩阵为C1上的平稳分布为：上的平稳分布为：0, 0.4, 0.2, 0.4, 0, 0, 0同理可求得同理可求得 C2 上的平稳分布为上的平稳分布为0, 0, 0, 0, 1/3, 1/3, 1/367三、三、( (有限链有限链) )遍历性的充分条件遍历性的充分条件, , 2, 1NI间为设齐次马氏链的状态空,mP如如果果存存在在正正整整数数阵阵是是它它的的一一步步转转移移概概率率矩矩都有使对任意的,Iji, 2, 1, 0)(Njipmij满满足足条条件件它它是是方方程程组组且且有有极极限限分分布布则则

44、此此链链具具有有遍遍历历性性PN, ),(,21 .1, 01的的唯唯一一解解 Njjj68说明说明步步转转移移概概率率使使数数求求证证遍遍历历性性即即找找一一正正整整mm,. 1.无无零零元元矩矩阵阵mP2. 极限分布转化为了求解方程组极限分布转化为了求解方程组.3. 在定理的条件下马氏链的极限分布是平稳分布在定理的条件下马氏链的极限分布是平稳分布.69,000000 试说明带有两个反射壁的随机游动是遍历的试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布并求其极限分布( (平稳分布平稳分布) ).解解)(的的元元代代表表转转移移概概率率矩矩阵阵的的正正以以 例例32)2(PP 四、应

45、用举例四、应用举例 010003/ 13/ 13/ 10003/ 13/ 13/ 10003/ 13/ 13/ 10001054321P5 4 3 2 170 0000000000004)4(PP. 无零元无零元,链是遍历的链是遍历的71:),(521满足方程组满足方程组极限分布极限分布 . 1,3/13/13/13/13/13/1,/33/1,3/1543214554344323321221.33:54321 由由前前四四个个方方程程解解得得代入最后一个方程代入最后一个方程 (归一条件归一条件), 得唯一解得唯一解P 010003/ 13/ 13/ 10003/ 13/ 13/ 10003/

46、 13/ 13/ 10001054321P5 4 3 2 172.11/3,11/143251 所以极限分布为所以极限分布为. )11/1,11/3,11/3,11/3,11/1( 这个这个分布表明分布表明经过长时间游动之后经过长时间游动之后, 醉汉醉汉 Q 位于点位于点 2 (或或 3 或或 4 ) 的概率约为的概率约为 3/11, 位于点位于点 1 (或或 5) 的概率约为的概率约为 1/11. 73设一马氏链的一步转移概率阵为设一马氏链的一步转移概率阵为,02/102/12/102/1002/102/12/102/10 P试讨论它的遍历性试讨论它的遍历性.解解,2/102/1002/10

47、2/12/102/1002/102/12)2( PP例例474,)1()(PPPnn 为奇数时为奇数时当当.,2)2()(PPPnn 为偶数时为偶数时当当.lim),4, 3, 2, 1()(都都不不存存在在极极限限对对任任意意固固定定的的nijnpj 表明表明此链不具遍历性此链不具遍历性.75五、小结五、小结 遍历性的概念遍历性的概念若对于所有的若对于所有的间为间为设齐次马氏链的状态空设齐次马氏链的状态空, I存在极限转移概率)(,nijpIji),(lim)(ipjnijn不依赖于则称此链具有遍历性则称此链具有遍历性.76 (有限链有限链) 遍历性的充分条件遍历性的充分条件,21NaaaI

48、 间间为为设设齐齐次次马马氏氏链链的的状状态态空空,mP如果存在正整数如果存在正整数阵阵是它的一步转移概率矩是它的一步转移概率矩都都有有使使对对任任意意的的,Iaaji , 2, 1, 0)(NjiPmij 满满足足条条件件它它是是方方程程组组且且有有极极限限分分布布则则此此链链具具有有遍遍历历性性PN ),(,21.1, 01的唯一解的唯一解 Njjj作业作业1 1：一一步步转转移移概概率率矩矩阵阵为为：的的状状态态空空间间为为设设,3 , 2 , 11, SnXn 323103203103231P并并求求出出其其平平稳稳分分布布。此此马马氏氏链链是是遍遍历历的的试试证证,作业作业2 2：书

49、习题：书习题5.75.778第七节第七节 连续时间马尔可夫链连续时间马尔可夫链定义定义7.1 设设随机过程随机过程X(t)，t 0 ，状态空间，状态空间及非负及非负整数整数 i1,i2, ,in+1 ，有有PX(tn+1)=in+1|X(t1)=i1, X(t2)=i2, X(tn)=in 则称则称X(t)，t 0 为为连续时间马尔可夫链连续时间马尔可夫链。I=0,1,2,，若对任意若对任意 0 t1 t2tn+1=PX(tn+1)=in+1|X(tn)=in，79转移概率转移概率：在：在s时刻处于状态时刻处于状态i，经过时间，经过时间t后后转移到状态转移到状态j的的概率概率pij(s,t)=

50、 PX(s+t)=j|X(s)=i定义定义7.2 齐次齐次转移概率转移概率(与起始时刻与起始时刻 s 无关，只无关，只与时间间隔与时间间隔 t 有关有关)pij(s,t)=pij(t)此时此时有转移概率矩阵有转移概率矩阵P(t)=(pij(t) ，i, j I，t 0.80|tPstsPiii 记记 i 为过程在状态转移之前停留在状态为过程在状态转移之前停留在状态i的时间，的时间，则对则对s, t 0 有有(1)(2) i 服从指数分布服从指数分布证证：(1) 事实上事实上ss+t0 iiiiti)0(|0 ,)(iXsuiuXsi )0(|,)( ,0 ,)(iXtsvsivXsuiuXts

51、i 81)0(|0 ,)()(|,)(0 ,)(|,)(0 ,)(|,)( ,0 ,)(|tPiXtuiuXisXtsvsivXsuiuXtsvsivXsuiuXtsvsivXsuiuXstsPiii 条件概率条件概率马尔可夫性马尔可夫性齐次性齐次性82)()()(,|tGsGtsGtPsPtsPsPtsPsPstsPstsPtPiiiiiiiiiii (2) 设设 i的分布函数为的分布函数为F(x), (x 0), 则生存函数则生存函数由此可推出由此可推出G(x)为指数函数，为指数函数，G(x)=e- x,则则F(x)=1-G(x)=1- e- x为指数分布函数。为指数分布函数。G(x)=1

52、-F(x)83 过程在状态转移之前处于状态过程在状态转移之前处于状态i的时间的时间 i服从指数分布服从指数分布(1)当当 i= 时，时， 状态状态i的停留时间的停留时间 i 超过超过x的概率为的概率为0，则，则称状态称状态i为瞬时状态；为瞬时状态；(2)当当 i=0时，时， 状态状态i的停留时间的停留时间 i 超过超过x的概率为的概率为1，则，则称状态称状态i为吸收状态。为吸收状态。xiiexF 1)(, 0)(1, 1)(xFxPxFiii , 1)(1, 0)(xFxPxFiii 84定理定理7.1 齐次马尔可夫过程的转移概率具齐次马尔可夫过程的转移概率具有下列性质：有下列性质：(1) p

53、ij(t) 0;(2) (3) 证证 由概率的定义，由概率的定义，(1)(2)显然成立，下证显然成立，下证(3)Ikkjikijsptpstp)()()(Ijijtp; 1)(85 IkkjikIkikkjIkIkIkijsptptpspiXktXPktXjstXPiXktXPiXktXjstXPiXktXjstXPiXjstXPstp)()()()()0(|)()(|)()0(|)( )0(,)(|)()0(|)(,)()0(|)()(86 注：注： 此为转移概率的正则性条件。此为转移概率的正则性条件。jijitpjippijtijii,0,1)(lim)(0, 10)0()0(知由87 例

54、例1 证明泊松过程证明泊松过程X(t),t 0为连续时间为连续时间齐次马尔可夫链。齐次马尔可夫链。证证 先证先证泊松过程泊松过程的的马尔可夫性。马尔可夫性。泊松过程是独立增量过程，且泊松过程是独立增量过程，且X(0)=0，对对任意任意0t1 t2 tn tn+1有有)()()()(,)()(,)0()(|)()()(,)(|)(1111121211111111nnnnnnnnnnnnnnnniitXtXPiitXtXiitXtXiXtXiitXtXPitXitXitXP88)(|)()(,)(|)()()()0()(|)()()(|)(111111111111nnnnnnnnnnnnnnnnn

55、nnnnnitXitXPitXitXitXPiitXtXPiXtXiitXtXPitXitXP所以所以另一方面另一方面即泊松过程是一个连续时间马尔可夫链即泊松过程是一个连续时间马尔可夫链89 再证齐次性。再证齐次性。当当j i时，时，当当jk, a1(n)=0， a2(n)=0, a3(n)=1, 即从状态即从状态3不会转移到其它状态。不会转移到其它状态。状态状态与与状态转移状态转移001 50 0.1293 0.0326 0.8381 , 1 , 0, 2 , 1),()(nkiiXPnani状态概率)(1iXjXPpnnij转移概率), 1 , 0(, 2 , 1nkXn状态马氏链的基本方

56、程马氏链的基本方程1)(1nakiikippkjijij, 2 , 1, 1, 01）（非负，行和为转移概率矩阵1kkijpPPnana)()1(kipnanakjjiji,2, 1,)()1(1基本方程基本方程状态概率向量)(,),(),()(21nanananaknPana)0()(wwPw满足马氏链的两个重要类型马氏链的两个重要类型 1. 正则链正则链 从任一状态出发经有限次转移从任一状态出发经有限次转移能以正概率到达另外任一状态（如例能以正概率到达另外任一状态（如例1）。）。0,NPN正则链Pnana)() 1()()(,nwnaw正则链3 . 07 . 02 . 08 . 0. 1

57、P例)9/2 , 9/7(w2211213 . 02 . 07 . 08 . 0wwwwww11kiiww满足121ww217 . 02 . 0ww w 稳态概率稳态概率马氏链的两个重要类型马氏链的两个重要类型 2. 吸收链吸收链 存在吸收状态（一旦到达就不会离存在吸收状态（一旦到达就不会离开的状态开的状态i, pii=1）,且且从任一非吸收状态出发经有从任一非吸收状态出发经有限次转移能以正概率到达吸收状态（如例限次转移能以正概率到达吸收状态（如例2）。）。6.3 钢琴销售的存贮策略钢琴销售的存贮策略 钢琴销售量很小，商店的库存量不大以免积压资金钢琴销售量很小，商店的库存量不大以免积压资金 一

58、家商店根据经验估计，平均每周的钢琴需求为一家商店根据经验估计，平均每周的钢琴需求为1架架存贮策略存贮策略：每周末检查库存量，仅当库存量为零时，：每周末检查库存量，仅当库存量为零时，才订购才订购3架供下周销售；否则，不订购。架供下周销售；否则，不订购。 估计在这种策略下失去销售机会的可能性有多大，估计在这种策略下失去销售机会的可能性有多大，以及每周的平均销售量是多少。以及每周的平均销售量是多少。 背景与问题背景与问题问题分析问题分析 顾客的到来相互独立，需求量近似服从泊松分布，其顾客的到来相互独立，需求量近似服从泊松分布，其参数由需求均值为每周参数由需求均值为每周1架确定，由此计算需求概率架确定

59、，由此计算需求概率 存贮策略是周末库存量为零时订购存贮策略是周末库存量为零时订购3架架 周末的库存周末的库存量可能是量可能是0, 1, 2, 3，周初的库存量可能是，周初的库存量可能是1, 2, 3。用马氏链描述不同需求导致的周初库存状态的变化。用马氏链描述不同需求导致的周初库存状态的变化。动态过程中每周销售量不同，失去销售机会（需求动态过程中每周销售量不同，失去销售机会（需求超过库存）的概率不同。超过库存）的概率不同。 可按稳态情况（时间充分长以后）计算失去销售机可按稳态情况（时间充分长以后）计算失去销售机会的概率和每周的平均销售量。会的概率和每周的平均销售量。 模型假设模型假设 钢琴每周需

60、求量服从泊松分布，均值为每周钢琴每周需求量服从泊松分布，均值为每周1架架 存贮策略存贮策略：当周末库存量为零时，订购：当周末库存量为零时，订购3架，周架，周初到货；否则，不订购。初到货；否则，不订购。 以每周初的库存量作为状态变量，状态转移具有以每周初的库存量作为状态变量，状态转移具有无后效性。无后效性。 在稳态情况下计算该存贮策略失去销售机会的概在稳态情况下计算该存贮策略失去销售机会的概率，和每周的平均销售量。率，和每周的平均销售量。 模型建立模型建立 Dn第第n周需求量，均值为周需求量，均值为1的泊松分布的泊松分布 )2 , 1 , 0(!/)(1kkekDPnSn第第n周初库存量周初库存