马尔可夫链的概念及转移概率

第四章4.1马尔可夫链的的概念及转移概率一、知识回顾二、马尔可夫链的的定义三、转移概率四、马尔可夫链的一些简单例子五、总结

一、知识回顾1.条件概率定义：设A，B为两个事件，且P(A)>0P为事件A发生条件下B事件发生的条件概率。将条件概率公式移项即得到所谓的乘法公式：P2.全概率公式设试验E的样本空间为S，A为E的事件，若B1,B1).B12).B1∪PA此式称为全概率公式。3.矩阵乘法矩阵乘法的定义A=a11如果cccc那么矩阵C叫做矩阵A和B的乘积，记作C=AB4.马尔可夫过程的分类马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类：时间、状态都是离散的马尔科夫过程，称为马尔可夫链；时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的；时间、状态都连续的马尔科夫过程。

三、转移概率定义4.2称条件概率p为马尔科夫链{Xn,n∈T}在时刻N条件概率pijn：随机游动的质点在时刻n处于状态i的条件下，下一步转移到状态一般地，转移概率pijn不仅与状态i，j有关，而且与时刻n有关。当pijn不依赖与时刻定义4.3若对任意的i,j∈T，马尔科夫链{Xn,n∈T}的转移概率pijn与n下面我们只讨论齐次马尔科夫链通常将“齐次”两个字省略。设P表示一步转移概率pij所组成的矩阵，且状态空间I={1,2,…}P=称为系统状态的一步转移概率矩阵。它具有性质：(1)p(2)j∈T(2)式中对j求和是对状态空间I的所有可能状态进行的，此性质说明一步转移概率矩阵中任一行元素之和为1.通常称满足上述（1）、（2）性质的矩阵为随机矩阵。定义4.4称条件概率p为马尔科夫链{Xn,n∈T}P为马尔科夫链的n步转移矩阵，其中pijn≥0，当n=1是，pij(1)=pp定理4.1设{Xn,n∈T}为马尔科夫链，则对任意整数n≥0，0≤l<n和(1)p(2)p(3)P(4)P证(1)利用全概率公式及马尔科夫性，有p=k∈I=k∈Ipkj(2)在(1)中令l=1,k=k1p这是一个递推公式，故可递推得到p(3)在(1)中令l=1,利用矩阵乘法可证。(4)由(3)，利用归纳法可证。定理4.1中(1)式称为切普曼——柯尔莫哥洛夫方程，简称C-K方程。它在马尔科夫链的转移概率的计算中起着重要的作用。(2)式说明n步转移概率完全由一步转移概率决定。(4)式说明齐次马尔科夫链的n步转移概率矩阵是一步转移概率矩阵的n次乘方。定义4.5设{Xpj=P{为{Xn,n∈T}的初始概率和绝对概率，并分别成{pj,j∈I}和{pP为n时刻的绝对概率向量，而称P为初始概率定理4.2设{Xn,n∈T}为马尔科夫链，则对任意j∈I和n≥1（1）pj（2）pj（3）PT（4）PT证(1)p=i∈I(2)p=i∈I=i∈I(3)与(4)中式是(1)与(2)中式的矩阵乘积形式，显然成立。证毕。定理4.3设{Xn,n∈T}为马尔科夫链，则对任意iP证由全概率公式及马氏性质有P==∙P=i∈IP=i∈I证毕

马尔可夫链的的一些简单例子马尔科夫链在研究质点的随机运动、自动控制、通信技术、生物工程、经济管理等领域中有着广泛的应用。例4.1无限制随机游动设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概率为q=1-p，这种运动称为无限制随机游动。以Xn表示时刻n质点所处的位置，则{Xn解显然{Xn,n∈T}P=设在第k不转移中向右移了x步，向左移了y步，且经过k步转移状态从i进入j，则x+y=k从而x=由于x，y都只能取整数，所以k±(j-i)必须是偶数。又在k步中哪x步向右，哪y步向左是任意的，选取的方法有ckp例4.2赌徒输光问题两赌徒甲、乙一系列赌博。赌徒甲有a元。赌徒乙有b元，每赌一局输者给赢者1元，没有和局，直到两人中有一个输光为止。设在每一局中，甲赢的概率为p，输的概率为q=1-p，求甲输光的概率。这个实质上是带有两个吸收壁的随机游动，其状态空间I={0,1,2,…,c}，c=a+b.故现在的问题是求质点从a点出发到达0状态先于到达c状态的概率.解设ui表示甲从状态i出发转移到状态0的概率，我们要计算的就是ua。由于0和u由全概率公式ui=pui+1上式的含义是，甲从有i元开始赌到输光的概率等于“他接下去赢了一局（概率为p），处于状态i+1后再输光”；和“他接下去输了一局（概率为q），处于状态i-1后再输光”这两个事件的和事件的概率。由于p+q=1,（3.1）式实质上是一个差分方程ui+1-ui其中r=qu0=1，u先讨论r=1，即p=q=12的情况，此时（3.u令i=1,2,…,c-1，u…u…u将u0a=-所以u令i=a，求得甲输光的概率为u上述结果表明，在p=q情况下（即甲、乙每局比赛中输赢是等可能的情况下），甲输光的概率与乙的赌本b成正比，即赌本小者输光的可能性大。由于甲、乙的地位是对称的，故乙输光的概率为u由于ua再讨论r≠1，即p≠q的情况。由（3.2）式得u=u1-1rk-令k=0，由于uc1=即1-代入（3.4）式，得ua=rk令k=a，的甲输光的概率u由对称性，乙输光的概率为(r1u由于ua+ub=1，因此在例4.3天气预报有问题设昨日、今日都下雨，明日有雨的概率为0.7；昨日无雨，今日有雨，明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2.若星期一、星期二均下雨，求星期四下雨的概率。解设昨日，今日连续两天有雨称为状态0(RR)；昨日无雨，今日有雨称为状态1(NR)；昨日有雨，今日无雨称为状态2(RN)；昨日，今日无雨称为状态3(NN)；。由于天气预报模型可看作一个四状态的马尔可夫链，其转移概率为p=Pp01p02p03其中R代表有雨，N代表无雨。类似的可以得到所有状态的一步转移概率。于是它的一步转移概率矩阵为P=其两步转移概率矩阵为:P由于星期四下雨意味着过程所处的状态为0或1，因此星期一，星期二连续下雨，星期四又下雨的概率为P=例4.4设质点在线段[1,4]上作随机游动，假设它只能在时刻n∈T发生移动，且只能停留在1,2,3,4点上。当质点转移到2,3点时，它以13的概率向左或向右移动一格，或停留在原处。当质点移动到点1时，它以概率1停留在原处。当质点移动到点4时，它以概率1移动到点3。若以Xn表示质点在时刻n所处的位置，则{P=各状态之间的转移关系及相应的转移概率如图所示。例中的点1称为吸收壁，即质点一旦到达这种状