连续马尔科夫过程的转移 概率及应用

1、随机过程 课程设计（论文）题 目: 连续马尔科夫过程的转移 概率及应用 学 院： 理学院 专 业： 应用统计学 班 级： 13090501 学 生 姓 名： 张志达 学 生 学 号： 1309050131 2015年 12 月 29 日 摘要 选取 1978 2009 年四川农村居民人均生活消费值的 32 个样本，首先，通过 Markov 预测法预测未来生活消费水平的增长速度以 10% 20% 的概率较大; 然后，为提高预测精度，在传统 ARMA 模型中加入时间变量 t 进行建模并预测，预测结果表明平均相对误差率 为 1 56% ，其中 2006 2009 年的相对误差的绝对值均小于 0 5%

2、 ; 最后，将 Markov 预测和 ARMA 模型对 2010 2012 年的预测结果对比， 发现两者在生活消费增长幅度上吻合，预测结果可靠。结果表明，在与目前相似的政策力度下，短期内四川省农村居民消费需求将持续 增长，需进一步扩大消费市场。关键词农村居民; 生活消费; Markov 预测 目录一.连续马尔科夫过程的转移概率及其应用4二.连续时间马尔可夫链基本理论52.1定义52.2转移概率5三. 马尔可夫过程研究的问题的分析7数据来源与研究方法72.计算状态转移概率矩阵93.结果与分析10四 结论和展望11五.参考文献12六 计算结果及程序12一.连续马尔科夫过程的转移概率及其应用1951

3、年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后， W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。 类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头

4、从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用分别表示青蛙最初处的荷叶号码及第一次、第二次、跳跃后所处的荷叶号码，那么 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。 关于马尔可夫过程的理论研究，1931年.柯尔莫哥洛夫发表了概率论的解析方法，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦

5、等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与 位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。二.连续时间马尔可夫链基本理论2.1定义设随机过程，状态空间,若对任意及非负整数及非负整数有，则称为连续时间马尔可夫链。2.2转移概率在s时刻处于状态i，经过时间t后转移到状

6、态j的概率定义.2 齐次转移概率 (与起始时刻s无关，只与时间间隔t有关)转移概率矩阵命题：若i为过程在状态转移之前停留在状态i的时间，则对s, t0有 (1) (2) i 服从指数分布定理1 齐次马尔可夫过程的转移概率具有： (1) ; (2) (3) 正则性条件 定义3(1)初始概率: (2)绝对概率: (3)初始分布: (4)绝对分布: 定理2 齐次马尔可夫过程的绝对概率及有 限维概率分布具有下列性质：(1) (2) (3) (4) (5) 三. 马尔可夫过程研究的问题的分析 农村居民的生活消费是消费需求的重要组成之一，颇受学者关注。已有研究内容主要集中于农村居民生活消费的 区域差异、消

7、费行为、消费结构、消费的影响因素等几方面。 在研究方法上，主要采用了回归分析法、扩展性指出系统模 型、最小二乘回归法、因子分析法、习惯性偏好的生命周期模 型等进行分析1 8; 从已有研究来看，大都立足于短期的消费数据，在研究方法偏向于回归分析研究，以提高农村的消费水平、促进经济发展为目的。实际上，正确预测农村的居民消费趋势及需求，及时建立合理的消费结构，也有利于提高消费水平。四川省是一个农业大省，农村居民相对较多，对农村居民生活消费进行较精确的预测，有利于充分调动农村消费对经济的拉动作用。然而对消费水平预测时，一次性预测出具体的结果难免会受到社会、经济、政策等因素的影响而产生较大的偏差。若能同

8、时预测出各种结果的概率，将概率与具体结果对比分析，可进一步提高预测可信性，有利于对未来消费水平的把握。鉴于此，笔者采用预测事件发生概率的 Markov 预测，避免了预测中因平稳性差或数据欠缺等带来的偏差，提高了预测的可靠性. 数据来源与研究方法1 1 数据来源 选取 1978 2009 年四川农村居民人均生活 消费数据，包括食品，衣着，居住，家庭设备、用品及服务，医疗保健，交通通讯，文教娱乐用品及服务，其他商品和服务共8 类消费总数( 数据来源于 1979 2010 年统计年鉴) 。并根 据其逐年增长幅度( ri ) 确定状态。具体可分为大幅度增长 ( E1 ，ri 20% ) 、中幅度增长(

9、 E2 ，10% ri 20% ) 、小幅度增 长( E3 ，0% ri 10% ) 和负增长( E4 ，ri 0% ) 。以 1978 年为基准年，历年农村居民人均生活消费增长状态 ri 见表 1。表 1四川农村居民生活消费的状态转移数据年份序号ri %状态年份序号ri %状态1978119941739 67E11979218 12E219951817 35E21980312 24E219961927 21E11981415 40E21997206 71E31982513 13E21998210 02E31983610 99E2199922 1. 02E4198478 96E32000234

10、 45E3198589 70E32001240 54E31986912 55E22002256 27E319871012 03E22003269 78E319881122 44E120042715 10E219891211 05E220052813 09E21990137 51E32006295 31E31991148 49E320073014 71E21992153 09E320083113 86E219931613 69E220093232 40E11 2 研究方法1 2 1 Markov 预测。Markov 预测是一种预测事物发生概率的方法，根据事物目前状况预测将来时期变动状况的预测方法

11、。在事件发展过程中，Markov 过程表示每次状态的转移都仅与前一时刻的状态有关，与过去的状态无关，Markov 预测就是对事件在 Markov 过程中各种状态出现的概率进行预 测9。预测步骤如下: 确定状态并得出状态 Ei 到状态 Ej的转移概率 pij ; 结合某一事件发展过程中的 n 种可能状 态，构成状态转移概率矩阵 Pn × n ; 根据初始状态 ( 0) ，求 出经过 k 次状态转移以后，在第 k 个时期处于状态 Ej 的概 率，公式为:j( k) = i ( k 1) pij ，j= 1，2，n( 1)由公式( 1) 对该事件在第 k 个时期的各状态概率进行预测。2.计

12、算状态转移概率矩阵假定某一个事件的发展过程有n个可能的状态，即E1，E2， ，En。记为从状态转变为状态的状态转移概率，则矩阵 从表3.7.1中可以知道，在3个从E1出发（转移出去）的状态中，有0个是从E1转移到E1，有2个是从E1转移到E2，有1个是从E1转移到E3，有0是从E1转到E4所以： 3.结果与分析2 1 Markov 预测与分析 根据表 1 数据，分别计算出从 Ei 到 Ej 的转移概率 pij ( i，j= 1，2，3，4) ，得出状态转移概率矩阵 P 如下:记 2009 年农村居民生活消费状态为 ( 0) = ( 1，0，0，0) ，利用公式( 1) ，计算得出 2010 2

13、012 年可能出现的各种 状态的概率( 表 2) 。表 22010 2012 年生活消费增长状态预测结果年份状态概率2010E10E20 666 7E30 333 3E402011E10.1905E20 444 4E30 337 3E40 027 82012E10.127E20 461 6E30 383 3E40 028 1由表 2 可知，状态 E2 ( 中幅度增长) 的概率较其他状态 大，表明在未来几年农村居民生活消费的增长速度为 10% 20% 的概率较大。运用模型对历年农村人均居民消费进行拟合和预测，部分结果见表 3。表 3 2013 2015 年四川省农村居民生活消费预测结果年份预测值

14、元实际值元相对误差%20092 572 812 572 000 0320102 934 842 949 210 4920113 355 573 362 000 1920123 887 853 891 000 0820134 425 7520145 019 63 20155 600 02由表 5 可知，2009 2012 年的实际值和预测值之间的相 对误差小于 0 5% ，再次说明模型预测值和真实值比较接近。 通过预测结果，进而计算出 2013、2014、2015 年的农村居民消 费的增长幅度分别为 13 74% 、13 42% 、11 56% ，即符合10% 20% 的中幅度增长。四 结论和展

15、望从上面的例子中可以看出利用连续马尔可夫过程求解以及matlab使用的重要性，通过这个例子，我们可以更好的理解马尔可夫过程，理解柯尔莫哥洛夫方程，同时知道怎样求解一些实际问题，例如：排队问题，机器维修问题、零件寿命、随机游动等问题。马尔可夫链近一二十年来在近似算法设计的重要应用，使它受到越来越广泛的关注。以后将会更加的普及到现实社会当中，来帮助我们解决更多的实际问题。五.参考文献应用随机过程，钱敏平，龚光鲁，北京大学出版社， 1998.随机过程论， 钱敏平 高等教育出版社 2000应用随机过程， 林元烈 清华大学出版社 2002随机过程， 刘次华 华中科技大学出版社 2008Matlab在时间

16、序列分析中的应用 张善文 雷英杰 冯有前 西安电子科技大学出版社 2007六 计算结果及程序MATLAB代码实现A=t=length(A); % 计算序列“A”的总状态数B=unique(A); % 序列“A”的独立状态数顺序，“E” tt=length(B); E=sort(B,'ascend');a=0;b=0;c=0;d=0;for j=1:1:ttLocalization=find(A=E(j); % 序列“A”中找到其独立状态“E”的位置for i=1:1:length(Localization)if Localization(i)+1>tbreak; % 范围限定elseif A(Localization(i)+1)= E(1)a=a+1;elseif A(Localization(i)+1)= E(2)b=b+1;elseif A(Localization(i)+1)= E(3)c=c+1;% 依此类推，取决于独立状态“E”的个数endendT(j,1:tt)=a,b,c; % “T”为占位矩阵endTT=T;for u=2:1:ttTT(u,:)= T(u,:)- T(u-1,:);endTT; % 至此，得到转移频数矩阵Y=sum(TT,2);for uu=1:1:ttTR(uu,:)= TT(uu,:).