马尔科夫及其应用

1、马尔可夫过程及其应用马尔可夫过程的简介马尔科夫过程(MarKov Process)是一个典型的随机过程。设X(t)是一随机过程，当过程 在时刻t0所处的状态为已知时，时刻t(tt0)所处的状态与过程在t0时刻之前的状态无关， 这个特性成为无后效性。无后效的随机过程称为马尔科夫过程。马尔科夫过程中的时同和状 态既可以是连续的，又可以是离散的。我们称时间离散、状态离散的马尔科夫过程为马尔科 夫链。马尔科夫链中，各个时刻的状态的转变由一个状态转移的概率矩阵控制。马尔可夫过程的一般概念2.1定义设有一随机过程 X(t), tT,若在 t1,t1, tn-1,tn(t1t2tnTtnT)时刻对 X(t)

2、观测得到相应的观测值x1,x2,xn-1,xn满足条件:或则称此类过程为具有马尔科夫性质的过程或马尔科夫过程，简称马氏过程。其中F (x ; t I x , x , , x , x ; t , t , , t , t )X n n n-1 n - 22 1 n-1 n - 22 1代表在X(tn-1)=xn-1,X(t2)=x2；X(t1)=x1,的条件下;时刻X(tn)取xn值的条件分布函数。若把tn-1看做“现在，因为t1t2tn-1tn则tn就可以看成“将来”，t1,t2,，tn-2 就当做“过去”。因此上述定义可表述为在现在状态X(tn-1)取值为xn-1的条件下，将来状 态X(tn)

3、与过去状态X(tn-2)X(tn-3), ,X(t1)是无关的。2.2转移概率分布定义马氏过程的转移概率分布为F (x ;t I x ;t )= P(x (t ) x I X (t ) = x X n nn-1 n-1n nn-1n-1F (x;11 x ;t )= P(X (t) tX0 000(转移概率分布是条件概率分布，对X而言，它是一个分布函数，有以下性质:1)FX(x;t|x0;t0)=02)FX(8；t|x0;t0)=13)FX(-8；t|x0;t0)=04)5)满足切普曼-科尔莫哥洛夫方程FX(x;t|x0;t0)是关于x的单调非降、右连续的函数。x ; t ) = 1(x x

4、)此时，无后效性可表示为f (x ; t I x ; x , x , x ; tX n n n1 n 221】=f (x ;t I x ;t .).X n nn 1 n 1马氏过程的转移概率密度也满足切普曼-科尔莫哥洛夫方程f (x ;t I x ;t )= J 8 f (x ;t I x ;t )f (x ;t I xX n n k kX n n r r X r r k8n-1 n 212, t1 );t )dx , t t tk r n r kF G; 11 工;t )=技 F G; 11 工;t )dF G ; t I 工;t )X0 0_8 X1 1 X 11 0 0dF (工;t I

5、 工;t )= f G ;t I 工;t )dx ,t t tX 10 0 X 1 10 01 01应用全概率公式,可以证明上式成立。2.3转移概率密度如果FX(x;t|x0;t0)关于x的导数存在,则:f (x;11 x ;t )=gF (x;11 x ;t ) TOC o 1-5 h z X0 0Qx X0 0称之为马尔科夫过程的转移概率密度。反之，可得Jx f (u;11 x ;t )= Jx dF (u;11 x ;t )= F (x;11 x ;t )8 X0 08 X0 0 X0 0并且还有J 8 f (x; 11 x ; t )dx = F (3; 118 X0 0Xf (x;

6、t I x ; t )5马尔可夫过程的统计特性及性质由前面的内容可知，随机过程的统计特性可由有限维联合概率分布来近似的描述。对于马尔科夫过程来说，其维概率密度可以表示为f (x , x , , x ; t , t , , t ),x ; t , t , , t )n -1 1 2 n -1:;t I x ; t )f (x ; t )2 21 1 X 1 1X12 n 12 nf(x; tI x , x , , x ; t, t ,I x ; t ) f (xX n n 1 2. n-1 1 2-f (x ; t I x ; t ) f (x ; t* *X n n n-1 n-1 Xn-1

7、n-1-f (x ; QH 1 f (x ; t 1 x ; Dt t trts则在已知Xr(过程在t时刻的条件下)，随机变量Xn和Xs是独立的，满足f (x ,x ;t ,t I x ;t )= f (x ;t I x ;t )f (x ;t I x ;t )X n s n s r r X n n r r X s s r r若对每个t=t1t2, X(t2)-X(t1)与 X(t)皆是独立的，则过程X(t)是马氏过程。由转移概率密度的无后效性可推出E X (t ) I X (t 1), , X (t-E _ X (t ) I X (t马尔可夫过程的应用4.1马尔可夫应用概述马尔可夫随机过程的

8、发展史说明了理论与实际之间的密切关系。许多研究方向的提出， 归根到底是有其实际背景的。反过来，当这些方向被深入研究后，又可指导实践，进一步扩 大和深化应用范围。下面简略介绍一下马尔可夫随机过程本身在各方面的应用情况。在物理学方面，高能电子或核子穿过吸收体时，产生级联(或倍增)现果在研究电了- 光子级联过程的起伏问题时，要用到随机过程，常以泊松过程、弗瑞过程或波伊亚过程作为 实际级联的近似，有时还要用到更新过程(见点过程)的概念。当核子穿到吸收体的某一深 度时，则可用扩散方程来计算核子的概率分布。物理学中的放射性衰变，粒子计数器，原子 核照相乳胶中的径迹理论和原子核反应堆中的问题等的研究，都要用

9、到泊松过程和更新理论。 湍流理论以及天文学中的星云密度起伏、辐射传递等研究要用到随机场的理论。探讨太阳黑 子的规律及其预测时，时间序列方法非常有用。化学反应动力学中，研究化学反应的时变率及影响这些时变率的因素问题,自动催化反 应，单分子反应,双分子反应及一些连锁反应的动力学模型等，都要以生灭过程（见马尔可 夫过程）来描述。随机过程理论所提供的方法对于生物数学具有很大的重要性，许多研究工作者以此来构 造生物现象的模型。研究群体的增长问题时，提出了生灭型随机模型，两性增长模型，群体 间竞争与生剋模型，群体迁移模型，增长过程的扩散模型等等。有些生物现象还可以利用时 间序列模型来进行预报。传染病流行问

10、题要用到具有有限个状态的多变量非线性生灭过程。 在遗传问题中，着重研究群体经过多少代遗传后，进入某一固定类和首次进入此固定类的时 间，以及最大基因频率的分布等。许多服务系统，如电话通信，船舶装卸，机器损修，病人候诊，红绿灯交换，存货控制， 水库调度，购货排队，等等，都可用一类概率模型来描述。这类概率模型涉及的过程叫排队 过程，它是点过程的特例。排队过程一般不是马尔可夫型的。当把顾客到达和服务所需时间 的统计规律研究清楚后，就可以合理安排服务点。在通信、雷达探测、地震探测等领域中，都有传递信号与接收信号的问题。传递信号时 会受到噪声的干扰，为了准确地传递和接收信号，就要把干扰的性质分析清楚，然后

11、采取办 法消除干扰。这是信息论的主要目的。噪声本身是随机的，所以概率论是信息论研究中必不 可少的工具。信息论中的滤波问题就是研究在接收信号时如何最大限度地消除噪声的干扰， 而编码问题则是研究采取什么样的手段发射信号，能最大限度地抵抗干扰。在空间科学和工 业生产的自动化技术中需要用到信息论和控制理论，而研究带随机干扰的控制问题，也要用 到马尔可夫随机过程。4.2马尔可夫应用举例假定西安电子科技大学有1万学生，每人每月用1支牙膏，并且只使用“中华”牙膏 与“黑妹”牙膏两者之一。根据本月（12月）调查，有3000人使用黑妹牙膏，7000人使 用中华牙膏。又据调查，使用黑妹牙膏的3000人中，有60%

12、的人下月将继续使用黑妹牙膏， 40%的人将改用中华牙膏；使用中华牙膏的7000人中，有70%的人下月将继续使用中华牙 膏，30%的人将改用黑妹牙膏。据此，可以得到如表一1所示的统计表。表一1两种牙膏之间的转移概率拟用黑妹牙膏中华牙膏现用黑妹牙膏60%40%中华牙膏30%70%上表中的4个概率就称为状态的转移概率，而这四个转移概率组成的矩阵60% 如”30% 70%称为转移概率矩阵。可以看出，转移概率矩阵的一个特点是其各行元素之和为1。在本例中， 其经济意义是：现在使用某种牙膏的人中，将来使用各种品牌牙膏的人数百分比之和为1。2.用转移概率矩阵预测市场占有率的变化有了转移概率矩阵，就可以预测，到

13、下个月（1月份）使用黑妹牙膏和中华牙膏的人数，计算过程如下:(30007000)60% 40%30% 70%=(3900,6100)即：1月份使用黑妹牙膏的人数将为3900，而使用中华牙膏的人数将为6100。假定转移概率矩阵不变，还可以继续预测到2月份的情况为:这里(3900,6100)=(3000,7000)(3000,7000)60%30%40%70%60%30%60%30%00%30%40%70%40% 60% 40%70% 30% 70%40%7。=(4170,5830)称为二步转移矩阵，也即由12月份的情况通过2步转移到2月份的情况。二步转移概率矩阵正好是一步转移概率矩阵的平方。一般

14、地，k步转移概率矩阵正好是一步转移概率矩阵的k次方。可以证明，k步转移概率矩阵中,各行元素之和也都为1。转移概率矩阵案例分析 案例一：用转移概率矩阵预测市场占有率的变化1有了转移概率矩阵，就可以预测，到下个月（1月份）使用黑妹牙膏和中华牙膏的人数，计算过程如下:(3000,7000)60% 40%30% 70%=(3900,81。)即：1月份使用黑妹牙膏的人数将为3900，而使用中华牙膏的人数将为6100。假定转移概率矩阵不变，还可以继续预测到2月份的情况为:(3900,0100)60%30%40%70%(3000,7000)60%30%40%70%60% 40%30% 70%(3000,7000)60%30%40%70%=(4170,5830)这里160% 40% 30% 70%称为二步转移矩阵，也即由12月份的情况通过2步转移到2月份的情况。二步转移概率矩 阵正