马尔科夫模型在系统工程中的应用

1、马尔可夫模型在系统工程中的应用兰爱花 （信息与电气工程学院 系统工程 2012级硕研14班 2012021454）摘要：马尔可夫过程是一种理论最完备、应用最广、最简单的随机过程。利用马尔可夫性质(即无后效性质)将问题变成数学模型称为马尔可夫模型。马尔可夫模型在运筹学和系统工程中有较多应用，如可靠性理论、排队论等。系统工程中常用的有两类马尔可夫过程：离散的(或称马尔可夫链)及不连续的(状态离散、时间连续)马尔可夫过程。本文力图从系统工程应用角度对马尔可夫模型的性质、基本方程、运算方法等作通俗的介绍,并举例说明在系统工程中的应用。关键词：马尔科夫链，数学模型，灾变预测，交通预测一、随机过程的数学模

2、型 1.1马尔可夫链的基本原理: 设有随机过程,若对任意的整数nT和任意,条件概率满足: （） 则称为马尔可夫链,我们记表示在n时刻系统处于状态i条件下,在时刻n+1时系统转移到j的概率;将依次排序,可得如下矩阵: （） 该矩阵称为转移概率矩阵。任一系统的状态空间I,可以分解为下列不相交子集之和 （） 其中N为所有非常返状态组成集合,是互不相交的常返状态组成的闭集。若j是非周期的正常返状态,则（） 为状态j的平均返回时间。 我们称概率分布为马尔可夫链的平稳分布,其中I为状态空间,若它满足（） 若是马尔可夫链的平稳分布,则 （） 1.2状态转移概率的计算和状态转移矩阵的构造 由于数据序列的变化,

3、某一状态从时间开始,只能推测在未来时间处于该状态的概率,将数据序列分为若干种状态,记为它可能发生转移时间记为数据序列用状态经过m步转移到的概率为m步转移概率,记为 其中为状态经过m步转移到状态的次数;为状态出现的次数。由于数据序列最后的状态转向不确定,故计算数据时要去掉最末的一个数据。二、马尔可夫模型在系统工程中应用举例 2.1对某地区汛期雨量的预测 某地区统计资料表明从1961-1998年降雨量分别为（mm）：795.4,805.3，3681.3,3936.3,3598.6,733.1,447,845.3,3605.4,827.2,745.5,5813.4,4567.7,7554.3,126

4、6.3,677.4,780.3,827.2,430.3,423.6,553.8,569.2,1317.7,827.0,389.0,376.7,823.6,518.7,761.7,443.2,627.7,421.6,687.6,421.6,687.6,1194.8,574.4,1165.9,1168.1 2.1.1对这些数据进行处理,把雨量分成5个状态:表1状态编号命名>11001洪涝900,11002天气异常700,9003天气湿润500,7004天气适中<5005气候干燥表2年度 1961 1962 1963 1964 1965 1966 1967 1968 1969 1970状

5、态 3 3 4 2 4 3 1 3 4 3年度 1971 1972 1973 1974 1975 1976 1977 1978 1979 1980状态 3 3 4 4 1 3 3 5 5 4年度 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990状态 4 1 3 5 5 3 4 3 5 3年度 1991 1992 1993 1994 1995 1996 1997 1998 状态 5 4 5 4 1 4 1 12.1.2构造转移概率矩阵 据（2）、（7）式可得：2.1.3利用状态转移矩阵,编制预测表,预测该地区的天气表3预测1999年该地区天气情况

6、起始年序号起始状态转移步数1234519981100.250.750.2501997120.2500.250.250.251996430.100.70.10.1199514000.666600.33331994450.111100.33330.22220.333合计0.46110.250.280.82221.0167 根据表3可预测得1999年处于状态3,查表1可得1999年降雨量在700,900,天气湿润。2.1.4统计该地区将来天气状况不同的概率 为此我们得该地区天气状态图: 根据P(5)转移矩阵,由(3)式可得,进行状态空间分解 由于是不可约闭集,故存在平稳分布对应转移概率矩阵 由(5)

7、式,可得如下方程组 解之得: 故可得平稳分布为0.188,0,0.309,0.2965,0.205 由此可预测该地区将来天气状态出现概率为: 出现洪涝概率为18.8%;天气湿润概率为30.9%;天气适中概率为29.65%,出现气候干燥概率为20.5%,天气异常的概率几乎为0。2.1.5预测天气状态平均出现的时间 由(6)式可得: 由此我们可预测洪汛大约5.319年出现一次,天气异常几乎不会出现,天气湿润大概3.233年出现一次,天气适中大概3.372出现一次,天气干燥大概4.878年出现一次。 从以上预测,与该地区实际值对比,预测精度较高,同时也与其它预测方法对比,预测精度明显高于其它方法。2

8、.2飞机可靠性问题 一种战斗机有4个发动机,为使飞机能可靠飞行,至少需要2个发动机正常工作。设飞行任务需1小时(在1小时内能飞回基地),求飞机可靠性。 战斗机能完成飞行任务的概率就是可靠性。假设在15分钟内一个发动机被敌方击中的概率为0.2，15分钟内二个发动机被击中的概率为0,若发动机坏了三个,则飞机失效。用0,1,2,3分别表示飞行中发动机损坏数,则转移概率阵为: 一小时分为4步（每步15分钟），飞行任务结束时，经4步转移，概率矩阵为： 表示飞机在飞行开始时所有发动机都正常,而在飞行结束时坏了三个发动机的概率。所以飞机可靠度为1一0.0272=97.28%。三、结论 1)随机过程中马尔可夫链进行预测,能充分利用历史数据的信息,其预测精度较高; 2)马尔可夫链预测也是建立在对历史数据分析之上,历史数据越多,越准确,预测也越可靠。参考文献1 刘嘉焜，王公恕.应用随机过程M.北京：科学出版社，2004:90-130.2 陈家鑫.应用概率论M,北京：科学出版社，1992.3 方伟华，王静爱.中国历史水灾案例数据库的建立及相关问题探讨J.北京师范大学学报自然科学版1998,34（2）:269-275.4 冯耀龙，韩文秀. 权马尔科夫链在河流丰枯状况预测中的应用J.系统工程理论与实践，1999，19（10）：89-93.5 刘海