许院生死教育课件——中国内地近十五年(1997至今)来死亡教育研究述评

1、第十章第十章 随机过程的基本概念随机过程的基本概念 随机过程的基本概念随机过程的基本概念 随机过程的有限维分布函数族随机过程的有限维分布函数族 随机过程的数字特征随机过程的数字特征 特殊的随机过程及性质特殊的随机过程及性质 泊松过程和维纳过程泊松过程和维纳过程10.1 基本概念基本概念例例1 1、1 1molmol氧气注入密封的圆柱形容器中（中间氧气注入密封的圆柱形容器中（中间 插入网形隔板），注入的起始时刻令插入网形隔板），注入的起始时刻令t=0t=0，问，问0,10,1中任一时刻左边含有的氧分子数。中任一时刻左边含有的氧分子数。 令令t时刻左边含有的氧分子数为时刻左边含有的氧分子数为X(t

2、)，则，则在每一个时刻在每一个时刻t，X(t)为随机变量，且为随机变量，且X(0.1)与与X(0.2)显然不独立。显然不独立。称称X(t),tT为随机过程，为随机过程，T称为参数集。称为参数集。TttXXTTtE，有有，对对每每个个固固定定的的的的样样本本空空间间，是是随随机机试试验验定定义义：设设),(|令令t t在在T中变动，得到依赖于中变动，得到依赖于t t的一族随机变量，的一族随机变量，则称则称 为随机过程。为随机过程。,),(TttX记为记为X(t),tT，或或X(t),X(, t)（随机过程即为定义在同一个（随机过程即为定义在同一个上的无穷多个上的无穷多个随机变量的集合族。）随机变

3、量的集合族。）注：注：T: :参数集；参数集；t: :参数（一般为时间，也参数（一般为时间，也可以是其余的参数）；可以是其余的参数）；: :样本空间。故随样本空间。故随机过程机过程 X(t),tT 由由t t和和决定。决定。T可以是离散、可列地取值，如可以是离散、可列地取值，如T=1,2,，称为具有离散参数的随机过程（随机序列）；称为具有离散参数的随机过程（随机序列）；T也可以是某一有限区间或无限区间，如也可以是某一有限区间或无限区间，如Ta,b，T=0,+)，称为具有连续参数的随机过，称为具有连续参数的随机过程。程。参数参数t固定为固定为t0，则，则X(,t0)为一随机变量，称为一随机变量，

4、称为过程在为过程在t0时刻的状态；故随时刻的状态；故随t变化的随机变量变化的随机变量的集合族即为一随机过程。的集合族即为一随机过程。固定固定t0TT，I= =X(0,t0)| 任意任意0 称为状称为状态空间（所有状态的集合）；根据态空间（所有状态的集合）；根据X(,t0)离离散（连续），散（连续），I称为离散（连续）状态空间。称为离散（连续）状态空间。固定固定0 ,X(0 ,t),tT是是t普通的函数，称普通的函数，称为随机过程对应于试验结果为随机过程对应于试验结果0的一个样本函的一个样本函数（一个现实，一个轨迹）。数（一个现实，一个轨迹）。 所有的轨迹放在一起即为随机过程，这种所有的轨迹放在

5、一起即为随机过程，这种定义在理论上比较有用；但在实际的认识中定义在理论上比较有用；但在实际的认识中我们是在每个时刻我们是在每个时刻t t去认识随机过程，故用统去认识随机过程，故用统计的方式处理。计的方式处理。10.2 随机过程的有限维分布函数族随机过程的有限维分布函数族为为随随机机变变量量；，若若固固定定随随机机过过程程),(,),(tXTtTttX的分布函数；的分布函数；称为称为，),(),(),(tXxtXPtxFRx定义定义1：的一维分布函数族。的一维分布函数族。称为称为中变化，则中变化，则在在参数参数)(,| ),(1tXRxTttxFBTt布布函函数数；时时刻刻的的联联合合分分称称为

6、为随随机机过过程程在在称称212211212121,)(,)(),(,ttxtXxtXPttxxFTtt定义定义2：的的二二维维分分布布函函数数族族。称称为为，)(,| ),(212121212tXRxxTttttxxFB维维联联合合分分布布函函数数；的的称称为为随随机机过过程程称称ntXxtXxtXPttxxFTtttnnnnn)()(,)(),;,(,111121定义定义3：维维分分布布函函数数族族。的的称称为为，ntXRxTtttxxFBiinnn)(| ),;,(111nnBB称为随机过程的有限维分布函数族。称为随机过程的有限维分布函数族。例例1 1、设随机序列、设随机序列Xn=Sn,

7、(n=1,2,)，其中，其中S是是在在0,10,1区间上服从均匀分布的随机变量，求区间上服从均匀分布的随机变量，求Xn,n1的一维分布密度函数族。的一维分布密度函数族。例例2 2、已知随机过程、已知随机过程21)()(,sin)(HPHPHtHttX，其中若若求：求：) 1 ,21,()21,(21xxFxF；10.3 随机过程的数字特征随机过程的数字特征函函数数；，称称为为随随机机过过程程的的均均值值)()(tEXtmX定义定义1 1：为为随随机机变变量量；，固固定定随随机机过过程程)(,),(tXTtTttX值函数；值函数；，称为随机过程的均方，称为随机过程的均方)()(22tEXtX称称

8、为为均均方方差差函函数数。的的方方差差函函数数；，称称为为)()()()()(2tDtXtmtXEtDXXX定义定义2 2：TtsTttX,),(，随随机机过过程程)(),()()(),(2tttRtXsEXtsRXXX相相关关函函数数；特特别别的的，称称为为随随机机过过程程的的函函数数。称称为为随随机机过过程程的的协协方方差差)()()()()(),(cov(),(tmtXsmsXEtXsXtsCXXX计算公式：计算公式：)()(),(),(tmsmtsRtsCXXXX注：注：随机过程随机过程X(t),tT，t固定时固定时X(t)即为即为随机变量，故概率论中求数字特征的方法，全随机变量，故概

9、率论中求数字特征的方法，全部可以用来求随机过程中相应的数字特征（包部可以用来求随机过程中相应的数字特征（包括数字特征的性质）。括数字特征的性质）。随机过程加普通函数不改变协方差函数。随机过程加普通函数不改变协方差函数。X(t),tT中均方值函数存在，其协方差函中均方值函数存在，其协方差函数一定存在。数一定存在。10.4 特殊的随机过程特殊的随机过程二阶矩过程：设二阶矩过程：设X(t),tT为一随机过程，为一随机过程，若任意若任意tT, ,二阶矩存在，即二阶矩存在，即EX2(t)+，则，则称称X(t),tT为二阶矩过程。为二阶矩过程。正态过程：设正态过程：设X(t),tT为一随机过程为一随机过程

10、, ,若若 X(t)的任一有限维分布均为正态分布，则称的任一有限维分布均为正态分布，则称X(t),tT为正态过程（特殊的二阶矩过程）为正态过程（特殊的二阶矩过程）独立增量过程：设独立增量过程：设X(t),tT为一随机过程，为一随机过程，立立增增量量过过程程。为为独独称称随随机机变变量量相相互互独独立立，则则个个这这，有有若若),(1)()()()(), 2 , 1(, 211221TttXntXtXtXtXniTttttnnnin称称为为增增量量。其其中中), 2 , 1()()(1nitXtXii齐次增量过程：设齐次增量过程：设X(t),tT为一随机过程，为一随机过程，为为时时齐齐增增量量。

11、增增量量过过程程。称称时时齐齐为为齐齐次次无无关关，则则称称时时间间起起始始点点而而与与有有关关，的的分分布布仅仅与与时时间间间间隔隔有有亦亦可可一一般般若若)()()(),()()()(),0, 0(,tXhtXTttXthtXhtXThthhhTt特殊：当特殊：当X(t),tT为独立增量过程时称为齐为独立增量过程时称为齐 次独立增量过程。次独立增量过程。马尔可夫过程：设马尔可夫过程：设X(t),tT为一随机过程，为一随机过程，为为无无记记忆忆性性）。具具有有马马尔尔可可夫夫性性（或或称称，则则称称该该过过程程条条件件下下的的条条件件分分布布相相同同条条件件分分布布与与在在的的条条件件下下，

12、若若在在nnknnnnknnnxtXxtXxtXtXtXxtXtttttkn)(,)(,)()(,),()(, 1, 111001110具有马尔可夫性的随机过程称为马尔可夫过程。具有马尔可夫性的随机过程称为马尔可夫过程。, 2 , 1,1nXSniin例例3、Xn，n=1,2,是独立同分布的随机变量是独立同分布的随机变量序列，称其部分和序列序列，称其部分和序列 为和为和过程，证明和过程过程，证明和过程 Sn ，n=1,2,是齐次独立增是齐次独立增量过程。量过程。, 2 , 1,1nXSniin独立增量过程的性质：独立增量过程的性质： X(t),tT是一个独立增量过程，是一个独立增量过程，t0是

13、是T的起的起点，定义点，定义Y(t)=X(t)-X(t0)，则，则Y(t)也是一个独立也是一个独立增量过程，而且与增量过程，而且与X(t)有着完全相同的增量规有着完全相同的增量规律，且律，且P(Y(t0)=0)=1;所以，一般的，对于独立增量过程所以，一般的，对于独立增量过程X(t),tT，若若T=t|t0，我们假设，我们假设P(X(0)=0)=1。定理定理1 1：设设X(t),t0是一个独立增量过程，是一个独立增量过程， 在在P(X(0)=0)=1的条件下，的条件下，X(t)的任意有限的任意有限维分布函数族可以由增量维分布函数族可以由增量X(t)-X(s) (0s0)0)的泊松的泊松过程。过

14、程。(1)(1)齐次性：齐次性： 以以 N(t0, t0+t)=k 表示表示“在在( (t0, t0+t 发生发生k个随机点个随机点”这一事件，则这一事件，则Pk(t)=P(N(t0,t0+t)=k) (k=0,1,2,)只与时间只与时间区间长度区间长度t t有关，而与起始点无关。有关，而与起始点无关。(2)(2)独立增量性（无后效性）：独立增量性（无后效性）： 在任意的在任意的n个互不相交的时间区间个互不相交的时间区间( (ai, ,bi ( (i=1,2,=1,2,) )中，各自发生的随机点数是相中，各自发生的随机点数是相互独立的，即：若第互独立的，即：若第i个区间个区间( (ai, ,b

15、i 有有ki个个随机点出现，则事件随机点出现，则事件 N(ai,bi)=ki ( (i=1,2,=1,2,) )独立。独立。(3)(3)普通性：普通性： 在一瞬间最多出现一个随机点；在一瞬间最多出现一个随机点；则则)()(0)(limtotttn，即即)() 1)()(1tottNPtP且且(4)(4) P( (N(0)=0)=1(0)=0)=1（非本质性质）（非本质性质）)()(1)(10tPtPt若记若记2.2.性质性质（有限维分布及数字特征）（有限维分布及数字特征）(1) (1) 设设 N(t),t0 是一个强度为是一个强度为的泊松的泊松 过程，则过程，则N(t)的一维分布是参数为的一维

16、分布是参数为t的泊的泊松分布，即松分布，即N(t)P(t)。(2)(2) mN(t)= t； DN(t)= t； CN(s,t)= mins,t(3) (3) 设设 N(t),t0 是一个强度为是一个强度为的泊松的泊松 过程，则增量过程，则增量N(t)-N(s)（参数（参数t s00）的分）的分布是参数为布是参数为(t-s)的泊松分布，即的泊松分布，即 N(t)-N(s)P(t-s)。 (4) (4)设设 N(t),t0 是一个强度为是一个强度为的泊松的泊松 过程，求过程，求N(t)的二维分布。的二维分布。3.3.间隔时间的分布间隔时间的分布例：设例：设 N(t),t00是一个强度为是一个强度

17、为的泊松过程，的泊松过程，记记Wn（n=1,2,=1,2,）为第）为第n个随机点出现的个随机点出现的时刻，时刻，Ti=Wi-Wi-1（i=1,2,=1,2,）表示第）表示第i-1个随机点与第个随机点与第i i个随机点出现的时间间隔，个随机点出现的时间间隔，求求Wi与与Ti的分布。的分布。结论：泊松过程中随机点出现的间隔时间结论：泊松过程中随机点出现的间隔时间Ti=Wi-Wi-1（i=1,2,=1,2,），相互独立，同服），相互独立，同服从参数为从参数为的指数分布的指数分布e() )；反之也成立。；反之也成立。4.4.泊松过程与其它分布的关系泊松过程与其它分布的关系例例1 1、设、设 N(t),

18、t0 是一个强度为是一个强度为的泊松过程，的泊松过程，求：求：P(N(S)=1|N(T)=1) ( (TS0)0)例例2 2、求：、求：P(N(S)=k|N(T)=n) ( (k=0,1=0,1,n) ) ( (TS0)0)例例3 3、证明：所有的独立增量过程都为马尔可、证明：所有的独立增量过程都为马尔可夫过程（即具有马尔可夫性）。夫过程（即具有马尔可夫性）。第十一章第十一章 马尔可夫链马尔可夫链 马尔可夫链的概念和转移概率矩阵马尔可夫链的概念和转移概率矩阵 齐次马尔可夫链的有限维分布齐次马尔可夫链的有限维分布 多步转移概率的确定多步转移概率的确定 齐次马尔可夫链的遍历性齐次马尔可夫链的遍历性

19、11.1 11.1 马尔可夫链的基本概念马尔可夫链的基本概念定义定义1 1：设随机过程设随机过程 Xn, n0 ，如果满足如下，如果满足如下条件：条件：(1) (1) Xn, n0 的状态空间的状态空间I=x0, ,x1, , ,xn, , 为为可数集；可数集；(2) (2) 对一切的对一切的n1和所有的和所有的x, x1, x2, , xn-1II都都有有则称则称 Xn, n0 为马尔可夫链，简称马氏链。为马尔可夫链，简称马氏链。其中其中(1)(1)式称为马尔可夫条件。（无后效性）式称为马尔可夫条件。（无后效性）) 1 ()|(),|(11111100nnnnnnxXxXPxXxXxXxXP

20、注：注：1.马尔可夫性的意义：未来的分布只与马尔可夫性的意义：未来的分布只与现在时刻有关，与历史无关。现在时刻有关，与历史无关。2.定义中定义中(1)式与下列等式等价：式与下列等式等价：)2(0,)|(),|(1100nmxXxXPxXxXxXxXPnnnmnnnm0,)3()|(),|(212211mnnnnxXxXPxXxXxXxXPknnnmnnnnnnnmkkkk其其中中3.状态空间不失一般性，可假定为状态空间不失一般性，可假定为I I=0,1,2,=0,1,2,此时，此时， Xn=i 表示：马尔可夫链表示：马尔可夫链“第第n步（步（n时刻）处于第时刻）处于第i个状态个状态”或称为或称

21、为“第第n步有值步有值i”。定义定义2 2：设设 Xn, ,n0 是一马尔可夫链，称是一马尔可夫链，称pij(m,m+n)=P(Xm+n=j|Xm=i)为马氏链为马氏链 Xn, ,n0 的的n步转移概率。步转移概率。( (任意的任意的i,jI) )由由p pij( (m,m+n) )组成的矩阵组成的矩阵P(m,m+n)=(pij(m,m+n)称为称为 Xn, ,n0 的的n步转移概率矩阵。步转移概率矩阵。定义定义3 3：设设 Xn, ,n0 为一马尔可夫链，如果对为一马尔可夫链，如果对所有的所有的m00，n11，i, jII，有，有P(Xm+n=j|Xm=i)=P(Xn=j|X0=i)，则称该

22、马尔可，则称该马尔可夫链是齐次的。夫链是齐次的。此时，此时，n步转移概率记为：步转移概率记为：pij(m,m+n)=pij(n)， （n=1,2,）n步转移概率矩阵记为步转移概率矩阵记为：P(m,m+n)=P(n)=(pij(n)特别的，特别的，n=1=1时，一步转移概率记为：时，一步转移概率记为：pij一步转移概率矩阵记为：一步转移概率矩阵记为：P=P(1)=(pij)即：即：ijiijjpppppppppP101111000100性质性质1 1、设设 Xn, ,n0 是一马氏链，若对一切的是一马氏链，若对一切的n n和和i, jI，有，有P(Xn+1=j|Xn=i)=P(X1=j|X0=i

23、)，则则 Xn, ,n0 是齐次的马尔可夫链。是齐次的马尔可夫链。性质性质2 2、设设 Xn, ,n0 是齐次马氏链是齐次马氏链, ,P(n)= (pij(n)是其是其n步转移概率矩阵，则有：步转移概率矩阵，则有： (1)(1)pij(n)0 ( (任意的任意的i, ,jII) )1)()2(0jijnp例例1、甲袋中有、甲袋中有k只白球，只白球，1 1只黑球；乙袋中有只黑球；乙袋中有k+1+1只白球只白球(k11)，现每隔单位时间从各袋中，现每隔单位时间从各袋中任取一球进行交换任取一球进行交换(t =1=1)，令，令）（其中（其中次交换黑球在乙袋次交换黑球在乙袋，经过，经过次交换黑球在甲袋次

24、交换黑球在甲袋，经过，经过, 2 , 1 , 001)(nnntnXXn则则 Xn , n0 为一马尔可夫链；为一马尔可夫链；求：一步转移概率矩阵。求：一步转移概率矩阵。例例2 2、街道一边有、街道一边有n+1+1个房间，在每个房间做标个房间，在每个房间做标号，从号，从0 0到到n：n号为酒馆，号为酒馆，0 0号为醉汉住的房间。号为醉汉住的房间。醉汉喝完酒准备回家作为起始时刻，每隔单位醉汉喝完酒准备回家作为起始时刻，每隔单位时间移动一次，且仅移动一个房间，每次移动时间移动一次，且仅移动一个房间，每次移动时以等可能向左、向右移动，在酒馆中时以等可能向左、向右移动，在酒馆中( (起始起始时刻时刻)

25、 )仅向右移，回到家中不动。仅向右移，回到家中不动。 令令Xm= =i表示醉汉在表示醉汉在m时刻处于第时刻处于第i个房间中个房间中 ( (其中其中i=0,1,=0,1, ,n) )则则 Xm, ,m00为一马尔可夫链；为一马尔可夫链；求：一步转移概率矩阵。求：一步转移概率矩阵。11.2 11.2 齐次马尔可夫链的有限维分布齐次马尔可夫链的有限维分布定义：定义：设设 Xn, n0 是一齐次马尔可夫链，是一齐次马尔可夫链，其状态空间其状态空间I=0,1,2,，对任意时刻，对任意时刻n00，称，称离散型随机变量离散型随机变量Xn的分布律的分布律P(Xn=j)=pj为齐次为齐次马尔可夫链马尔可夫链 X

26、n, n0 的一维分布律，记为的一维分布律，记为p(n)=( p0(n), p1(n), , pj(n),)；特别；特别X0的分布的分布律律p(0)=( p0(0), p1(0), , pj(0), )称为初始分布。称为初始分布。定理定理1 1：设设 Xn, ,n00是齐次马尔可夫链，其是齐次马尔可夫链，其初始分布为初始分布为 p(0)=( p0(0), p1(0), , pj(0), ) n步转移概率矩阵为步转移概率矩阵为P( (n) )( ( pij(n) ) )，则对，则对任意的时刻任意的时刻n( (n1),1),Xn的一维分布为的一维分布为 p(n)=p(0)P(n), 2 , 1 ,

27、 0,)()0()(0jnppnpiijij 若用分量的形式表示，则若用分量的形式表示，则定理定理2 2：设设 Xn, ,n00是齐次马尔可夫链，其是齐次马尔可夫链，其n n步转移概率矩阵为步转移概率矩阵为P( (n) )( (pij(n) )，则对任，则对任意的时刻意的时刻n1n2nk(k2) 的联合分布律为：的联合分布律为：）（其其中中IiiinnpnnpnpiXiXiXPkkkiiiiiknnnkkk,)()()(),(21112121121121),(21knnnXXX例例3 3、某房间中有、某房间中有2 2个灯泡，每天坏掉个灯泡，每天坏掉1 1个灯泡个灯泡的概率为的概率为p(0(0p

28、1)0)0（i=1,2,=1,2,) )1)|()|()|(iiiCABPCAPCBP则则定理：定理：设设 Xn, n0 是齐次马尔可夫链，其是齐次马尔可夫链，其 状态空间为状态空间为I=0,1,2,n步转移概率矩阵为步转移概率矩阵为P( (n) )( (pij( (n)，则对任意的时刻，则对任意的时刻m1, 1, n11，有，有P( (m+ +n)=)=P( (m) )P( (n) )，即：，即：利用此定理结论，令利用此定理结论，令m= =n=1=1，则，则P(2)=(2)=PP= =P2 2), 2 , 1 , 0,()()()(0jinpmpnmpkkjikij所以所以 。nPnP)(例

29、例4 4、设袋中有、设袋中有2 2个黑球，个黑球，1 1个白球，重复做以个白球，重复做以下试验，从袋中随即地取下试验，从袋中随即地取1 1个球，若取出的球个球，若取出的球是白球则放回袋中，若是黑球则不放回袋中，是白球则放回袋中，若是黑球则不放回袋中，设设Xn是第是第n次取球后袋中剩下的黑球个数，则次取球后袋中剩下的黑球个数，则 Xn,n0 是齐次马尔可夫链。是齐次马尔可夫链。1.1.写出一步转移概率矩阵；写出一步转移概率矩阵；2.2.求求P(P(X0=2,=2,X2=0)=0)。例例5 5、设甲袋中有、设甲袋中有2 2个黑球，乙袋中有个黑球，乙袋中有2 2个白球，个白球，每次分别从每一个袋中任

30、取每次分别从每一个袋中任取1 1个球互相交换再放个球互相交换再放回袋中，令回袋中，令 表示经过表示经过n次交换后甲袋中黑球次交换后甲袋中黑球的个数，则的个数，则 是一齐次是一齐次 链，链，1 1、求、求 的一步转移概率矩阵；的一步转移概率矩阵；2 2、求、求 。 nX0nXn ；023(2,1,0)P XXXMarkov0nXn ；例例6 6、甲乙两人做游戏，当硬币出现正面时甲、甲乙两人做游戏，当硬币出现正面时甲付给乙一元；反面出现乙付给甲一元，直到付给乙一元；反面出现乙付给甲一元，直到游戏一方无钱可付为止。设开始时，甲有一游戏一方无钱可付为止。设开始时，甲有一元，乙有两元，元，乙有两元，Xn

31、是甲在抛是甲在抛n次硬币后所具次硬币后所具有的钱数，则有的钱数，则 Xn, n0 是一马尔可夫链，是一马尔可夫链，(1)(1)求一步转移概率矩阵求一步转移概率矩阵P；(2)(2)计算计算P( (n) )的极限，并求甲最终赢钱的概率。的极限，并求甲最终赢钱的概率。解解: (1) I=0,1,2,3=0,1,2,310002102100210210001P(2) Xn, n0 的一步转移概率矩阵的一步转移概率矩阵P与与n无无关，故为齐次马氏链，关，故为齐次马氏链，P( (n)=)=Pn，0212111000212100212100012IP设设是是P的特征根，则令：的特征根，则令：21,21, 1

32、4321其对应的线性无关的特征向量分别为：其对应的线性无关的特征向量分别为：0110,0110,1012,0123432121000021000010000114321PHHH则则记记612121612121212110003200311H其其中中10)21(61)21(2132)21()21(21)21(61)21(31)21()21(210000)21()21(21)21(61)21(31)21()21(21)21(61)21(213201)(111nnnnnnnnnnnnnnnnnnnHHHHPHHP所所以以10003200313100320001)3(nPn时时，当当所以，甲最终赢钱的

33、概率为所以，甲最终赢钱的概率为31)(lim13npn11.4 11.4 遍历性遍历性能能不不存存在在；时时，极极限限可可能能存存在在也也可可当当，步步转转移移概概率率的的齐齐次次马马尔尔可可夫夫链链nnpnnXijn)(0,。无无关关时时，就就称称为为遍遍历历性性无无关关；当当与与也也可可能能与与有有关关，可可能能与与，极极限限存存在在时时，对对固固定定的的iiinpjijn)(lim。尔尔可可夫夫链链都都具具有有遍遍历历性性在在实实际际问问题题中中，许许多多马马定义：定义：设设Xn,n0是一齐次马氏链，其状态空是一齐次马氏链，其状态空间间I=0,1,2,，如果对所有的，如果对所有的i, j

34、I，n步转步转移概率移概率pij(n)的极限存在且与的极限存在且与i无关，即：无关，即：), 2 , 1 , 0()(limjnpjijn则称此链具有遍历性。则称此链具有遍历性。jjjnnPnP212121)(用矩阵表示为用矩阵表示为: :。马尔可夫链的极限分布马尔可夫链的极限分布为此为此，则称，则称又若又若,1211jjj注：注：1 1、遍历性说明不论系统从哪个状态出、遍历性说明不论系统从哪个状态出 发，发，当转移的步长当转移的步长n足够大时，转移到足够大时，转移到j状态状态 的概率趋于某个常数的概率趋于某个常数j，因此可用，因此可用j来近来近 似代替似代替pij(n)。2 2、从定义出发判

35、断是否具有遍历性，需要求、从定义出发判断是否具有遍历性，需要求P(n)，由上节的例子可知计算比较复杂，故，由上节的例子可知计算比较复杂，故给出如下的定理（只是针对有限多个状态的给出如下的定理（只是针对有限多个状态的齐次马氏链）。齐次马氏链）。定理定理：设设Xn, n0是一齐次马氏链，其状态空是一齐次马氏链，其状态空间间I=0,1,2,N是有限集，其一步转移概率是有限集，其一步转移概率矩阵为矩阵为P=(pij)(N+1) (N+1)； 若存在一个整数若存在一个整数n0，其，其n0步转移概率矩步转移概率矩阵阵P(n0)无零元，即无零元，即pij(n0)0，i, j =0,1, ,N，则此链具有遍历性，且有极限分布则此链具有遍历性，且有极限分布=(0 0, ,1,2,N)的的唯唯一一解解。的的满满足足归归一一性性条条件件），或或等等价价的的极极限限分分布布是是方方程程组组)0( 1, 1 , 0(00jNjjjNiijiNjpP说明：说明：1、该定理为充分条件，只要能找到、该定理为充分条件，只要能找到n0，使使P(n0)无零