第九章马尔可夫概型

1、1第九章马尔可夫概型分析第九章马尔可夫概型分析21 概述概述 任何一个地质过程都可认为是某些任何一个地质过程都可认为是某些确定性地质因素确定性地质因素和和随机性地质因素随机性地质因素相互作用的产物。也就是说，地质过程相互作用的产物。也就是说，地质过程都应是确定型和随机型地质过程在时间上和空间上叠加都应是确定型和随机型地质过程在时间上和空间上叠加的结果，因此在地质研究工作中，应重视上述两类地质的结果，因此在地质研究工作中，应重视上述两类地质过程的作用。但是，由于产生随机地质过程的机理十分过程的作用。但是，由于产生随机地质过程的机理十分复杂，甚至连随机性地质因素也不容易或不可能观察，复杂，甚至连随

2、机性地质因素也不容易或不可能观察，这就给用数学校型这就给用数学校型( (一个或几个一个或几个) )来描述随机型地质过程带来描述随机型地质过程带来了极大的、甚至是在目前条件下不可能克服的困难。来了极大的、甚至是在目前条件下不可能克服的困难。这样以来，人们自然就会侧重于确定型地质过程的研究，这样以来，人们自然就会侧重于确定型地质过程的研究，而使而使随机型地质过程随机型地质过程的研究成为地质工作中的一个薄弱的研究成为地质工作中的一个薄弱环节。环节。 3 19491949年，维斯捷列马斯在研究复式沉积层形成问题时，年，维斯捷列马斯在研究复式沉积层形成问题时，首先应用了马尔可夫链。首先应用了马尔可夫链。

3、19841984年，在莫斯科举行的第年，在莫斯科举行的第2727届国际地质会议上，维斯短列乌斯、阿柑特伯格届国际地质会议上，维斯短列乌斯、阿柑特伯格(F(FP PAgterbers)Agterbers)等数学地质学家发表了莫斯科宣言，其等数学地质学家发表了莫斯科宣言，其基本思想是；随机型模型应作为数学地质模型的基础，并基本思想是；随机型模型应作为数学地质模型的基础，并且肯定了马尔可夫过程且肯定了马尔可夫过程( (特别是马尔可夫链特别是马尔可夫链) )在地质学中应在地质学中应占有特殊的地位。占有特殊的地位。 目前，常用马尔可夫概型分析研究沉积旋回，进行目前，常用马尔可夫概型分析研究沉积旋回，进行

4、地层对比，查明火山岩系的喷出顺序和侵入杂岩体中地层对比，查明火山岩系的喷出顺序和侵入杂岩体中各个侵入体形成的先后顺序，划分矿床的成矿期和成各个侵入体形成的先后顺序，划分矿床的成矿期和成矿阶段、揭示各个成矿阶段的空间分布等。矿阶段、揭示各个成矿阶段的空间分布等。 到目前为止，研究随机型地质过程所涉及的数学到目前为止，研究随机型地质过程所涉及的数学方法也仅限于马尔可夫概型分析。方法也仅限于马尔可夫概型分析。 4 随机过程随机过程是概率论的基本概念之一，它是依赖于参数是概率论的基本概念之一，它是依赖于参数t t的一族随机变量，记为的一族随机变量，记为( ),x t tT 这里的参数这里的参数t t一

5、般是时间，一般是时间，T T是它的变化范围，随机变是它的变化范围，随机变量量x(tx(ti i) )也称作随机过程也称作随机过程 x(t) x(t)在在t tt ti i TT时的状态。时的状态。 当随机过程在时刻当随机过程在时刻t t1 1所处的状态所处的状态x(tx(t1 1) )为已知的条件下，为已知的条件下，若随机过程在时刻若随机过程在时刻t(tt(tt t1 1) )所处的状态所处的状态x(t)x(t)与随机过程在与随机过程在t t1 1时刻之前发生的状态无关，那么这样的随机过程就称为时刻之前发生的状态无关，那么这样的随机过程就称为马尔可夫过程马尔可夫过程。 用分布函数来描述就是：如

6、果对于参数用分布函数来描述就是：如果对于参数t t的任意的任意n(nn(n3)3)个数值个数值t t1 1t t2 2t tn n，在条件，在条件x(tx(ti i) )x xi i，i i1 1，2 2，n n一一1 1下随机变量下随机变量x(tx(tn n) )的分布函数恰好等于在条件的分布函数恰好等于在条件x(tx(tn-1n-1) )x xn-1n-1 的的分布函数，即分布函数，即9.29.2马尔可夫概型马尔可夫概型512112111(/, )(/)nnnnnnnnnnF xtxxxtttF xtxt；则称则称x(t)x(t)为马尔可夫过程为马尔可夫过程, ,条件分布函数条件分布函数

7、11111(/) ( )/ ()()nnnnnnnnnnF xt xtP xtx xtxtt；是马尔可夫过程的概率模型是马尔可夫过程的概率模型, ,上式为马尔可夫过程的转移上式为马尔可夫过程的转移概率。概率。 马尔可夫过程又称为马尔可夫过程又称为“无后效随机过程无后效随机过程”。所谓无后。所谓无后效性就是在效性就是在已知随机过程现在状态的情况下，以后它所处已知随机过程现在状态的情况下，以后它所处的状态与以前它所处的状态无关的状态与以前它所处的状态无关。可以将其理解为这个。可以将其理解为这个过程的历史对未来的全部影响集中在最后时刻的状态中，过程的历史对未来的全部影响集中在最后时刻的状态中，即认为

8、过程的任何观测结果只与紧前面的观测结果有关。即认为过程的任何观测结果只与紧前面的观测结果有关。就是在已经知道过程就是在已经知道过程“现在现在”的条件下，其的条件下，其“将来将来”不依不依赖于赖于“过去过去”。6 状态和参数都是离散的马尔可夫过程称作状态和参数都是离散的马尔可夫过程称作马尔可夫马尔可夫链链，即过程为，即过程为 ,0,1,2,tx t 马尔可夫链适用于时间离散、状态离散的时间序列。马尔可夫链适用于时间离散、状态离散的时间序列。但是，在研究地质过程时，有时能直接确定过程在时间但是，在研究地质过程时，有时能直接确定过程在时间上的先后顺序，有时则只能间接地以空间上的上下、前上的先后顺序，

9、有时则只能间接地以空间上的上下、前后、左右关系宋代替；也就是说，在地质过程研究中，后、左右关系宋代替；也就是说，在地质过程研究中，有时可以挨到确定的时间序列，有时只能间接地用距离有时可以挨到确定的时间序列，有时只能间接地用距离来代替时间参数：但是，只要空间序列有类似于马尔可来代替时间参数：但是，只要空间序列有类似于马尔可夫性质的关系存在，则仍然可以应用马尔可夫链对这种夫性质的关系存在，则仍然可以应用马尔可夫链对这种序列进行研究。在此，我们将既适用于时间序列又适用序列进行研究。在此，我们将既适用于时间序列又适用于空间序列的马尔可夫概率模型统称为于空间序列的马尔可夫概率模型统称为“马尔可夫概马尔可

10、夫概型型”。 7 若马尔可夫过程的转移概率若马尔可夫过程的转移概率随着时间的推移而发生变随着时间的推移而发生变化化，则称其为则称其为非齐次或非乎稳马尔可夫过程非齐次或非乎稳马尔可夫过程，转移概率不转移概率不随时间而变随时间而变的马尔可夫过程就称为的马尔可夫过程就称为齐次或平稳马尔可夫过齐次或平稳马尔可夫过程程。目前在地质研究中，主要是应用平稳马尔可夫过程目前在地质研究中，主要是应用平稳马尔可夫过程。 89.39.3马儿可夫链的转移概率马儿可夫链的转移概率 设马尔可夫链中可列个发生状态转移的时刻为设马尔可夫链中可列个发生状态转移的时刻为t t1 1，t t2 2，ttn n，在已知时刻，在已知时

11、刻t tt tn n时随机过程时随机过程x xi i所处状态为所处状态为i i的条件下，把经过一步转移，即在时刻的条件下，把经过一步转移，即在时刻t tt tn+1n+1(t (tn+1n+1t tn n) )转转移到状态移到状态j j上的概率记为上的概率记为p pij ij， 1/nnijttpp xj xi这个概率称为马尔可夫链的一阶转移概率。这个概率称为马尔可夫链的一阶转移概率。 把从状态把从状态i i到状态到状态j j的一阶转移概率的一阶转移概率p pij ij记为记为p pij ij(1)(1) p pij ij(k)(k)则是从状态则是从状态i i出发经过出发经过k k步转移到状态

12、步转移到状态j j上的转移概率上的转移概率 9 对于马尔可夫链来说，转移概率完全括述了它的概率对于马尔可夫链来说，转移概率完全括述了它的概率统计特征，因此，如何确定转移概率则成为研究马尔可夫统计特征，因此，如何确定转移概率则成为研究马尔可夫链的一个重要问题。转移概率在理论上是条件概率，而实链的一个重要问题。转移概率在理论上是条件概率，而实际应用时则是以转移频率际应用时则是以转移频率n nij ij/n/ni i作为条件概率的估计值，作为条件概率的估计值，即即 iijijnnp 例：例：一地层段由五种岩性状态组成，以一地层段由五种岩性状态组成，以1 1表示砾状砂岩表示砾状砂岩和粗砂岩，和粗砂岩，

13、2 2表示细砂岩，表示细砂岩，3 3表示粉砂岩，表示粉砂岩，4 4表示粘土岩，表示粘土岩，5 5表示灰岩，下面列出了自下而上的岩性状态转移序列，表示灰岩，下面列出了自下而上的岩性状态转移序列，求其转移概率。求其转移概率。1 2 5 1 4 5 4 5 2 4 5 4 3 5 4 1 3 4 3 4 2 3 5 4 5 4 5 4 2 3 1 4 5 4 5 4 510解：解：首先由上面的状态序列统计出转移频数矩阵首先由上面的状态序列统计出转移频数矩阵nnij ij 如下如下08011802212200111200021101 12 23 34 45 51 2 3 4 51 2 3 4 5列和列

14、和n nii101354454321nnnnn从而，由状态从而，由状态i i转移到状态转移到状态j j的概率的概率p pij ij可以由可以由iijijnnp 求出。求出。11转移概率矩阵为转移概率矩阵为08 . 001 . 01 . 0615. 00154. 0154. 0077. 04 . 04 . 0002 . 025. 025. 05 . 00005 . 025. 025. 00)1(55)1(54)1(53)1(52)1(51)1(45)1(44)1(43)1(42)1(41)1(35)1(34)1(33)1(32)1(31)1(25)1(24)1(23)1(22)1(21)1(15

15、)1(14)1(13)1(12)1(11)1(pppppppppppppppppppppppppp 如果过程的状态不是如果过程的状态不是5 5种而是种而是mm种，即种，即E E1 1，E E2 2， E Emm , ,那么由状态那么由状态E Ei i经过一步转移到状态经过一步转移到状态Ej Ej的一阶转移概率的一阶转移概率矩阵为矩阵为)1()1(2)1(1)1(2)1(22)1(21)1(1)1(11)1(11)1(mmmmmmpppppppppp由条件分布律的性质，知转由条件分布律的性质，知转移概率有如下性质：移概率有如下性质：(1)(1)1011(1,2,)ijmijjppim12二、高阶

16、转移概率二、高阶转移概率 如果马尔可夫链有，如果马尔可夫链有，m m 种状态种状态EIEI，E2E2，EmEm，从状，从状态态Ei Ei出发经两步转移到状态出发经两步转移到状态Ej Ej的概率的概率( (不管第一步是什么状不管第一步是什么状态态) )称为二阶转移概率，记为此称为二阶转移概率，记为此p pij ij(2)(2)，用二阶转移概率排成，用二阶转移概率排成的矩阵为的矩阵为 (2)(2)(2)11121(2)(2)(2)(2)(2)21222(2)(2)(2)12mmijm mmmmmppppppppppp 这个矩阵称为二阶转移概率矩阵，其中元素这个矩阵称为二阶转移概率矩阵，其中元素pi

17、jpij可以可以由实际资料统计出来，即由实际资料统计出来，即13(2)ijijiEEpE后的第二步是的次数出现的次数 更一般地，由状态更一般地，由状态Ei Ei经经k k步转移到状态步转移到状态Ej Ej，的概率，的概率p pij ij称称为为k k阶转移概率，其转移概率矩阵阶转移概率，其转移概率矩阵 ( )( )( )11121( )( )( )( )( )21222( )( )( )12kkkmkkkkkmijm mkkkmmmmppppppppppp称为称为K K阶转移概率矩阵，其中阶转移概率矩阵，其中14( )ijkijiEEpE后的第k步是的次数出现的次数( )( )1011mkki

18、jijjpp且有性质；。因而有 (2)(2)(2)11121(2)(2)(2)(2)(2)21222(2)(2)(2)12(1)(1)(1)(1)(1)(1)11121111(1)(1)(1)(1)(1)(1)21222111mmijm mmmmmmmmkkkkkkmkkkmmmkkkkkkmkkkppppppppppppppppppppppp(1)(1)(1)(1)(1)(1)12111mmmmkkmkkmkkmkkkpppppp15( )( )()1mkrk rijijijippp从而，对于高阶转移概率矩阵有从而，对于高阶转移概率矩阵有 也就是说，从状态也就是说，从状态E Ei i出发经过

19、出发经过k k步到达状态步到达状态E Ej j这一过这一过程，可以看作它是先经过程，可以看作它是先经过r(or(or rk)k)步转移到某一状态步转移到某一状态E El l(l (l1 1，2 2，m)m)，再由，再由E El l经过经过(kr)(kr)步转移到达状态步转移到达状态E Ej j。 16例如，对于一个包含砂岩例如，对于一个包含砂岩(E1)(E1)、粉砂、粉砂岩岩(E2)(E2)和页岩和页岩E3E3的剖面，由图的剖面，由图9l9l可可见，从见，从E2E2出发经过两步转移到出发经过两步转移到E3E3：有三条不同的途径，有三条不同的途径， 3(2)(1)(1)(1)(1)(1)(1)(

20、1)(1)232321132223233310.4 0.5 0.4 0.20.2 0.10.30jijppppppppp它是从它是从E2E2出发由三条不同途径经过两步转移到出发由三条不同途径经过两步转移到E3E3的概率的概率之和。之和。 同样可以计算：同样可以计算： 3(2)(1)(1)(1)(1)(1)(1)(1)(1)222221122222233210.4 0.50.4 0.40.2 0.60.36jijppppppppp179.49.4遍历定理与极限分布遍历定理与极限分布 马尔可夫链遍历性的直观意义是马尔可夫链遍历性的直观意义是：不论从哪个初始状：不论从哪个初始状态态Ei Ei出发，当

21、转移步数出发，当转移步数k k充分大后，它到达状态充分大后，它到达状态Ej Ej的概率的概率是一个不随时间变化的常数是一个不随时间变化的常数p pj j。 也就是说也就是说，无论初始状态如何，经过若干步转移以后，无论初始状态如何，经过若干步转移以后，系统将处于平衡状态，因而当系统将处于平衡状态，因而当k k充分大时，可用充分大时，可用p pj j作为作为p pij ij（k k）的近似值。的近似值。 遍历性遍历性可以解决当可以解决当k k很大时高阶转移概率的计算问很大时高阶转移概率的计算问题。题。p pj j称为马尔可夫链的极限概率。称为马尔可夫链的极限概率。 遍历性需要确定的中心问题遍历性需

22、要确定的中心问题在什么样的条件下，转移在什么样的条件下，转移概率的极限才是存在的；极限概率是否构成一个概率分布；概率的极限才是存在的；极限概率是否构成一个概率分布；以及如何计算极限概率以及如何计算极限概率p pj j。 18 遍历性定理遍历性定理是指对于有限状态的马尔可夫链，若存在是指对于有限状态的马尔可夫链，若存在一个正整数一个正整数s s，使得，使得p pij ij（s s）0 0对任何对任何i i，j=1j=1，2 2，mm成成立，那么极限立，那么极限 ()limnijjnpp存在，并且与存在，并且与i i无关；而上式中的无关；而上式中的pp1 1，p p2 2，p pmm 是方是方程组

23、程组 (1)(1)1(1,2,)mjiijipppjm在满足条件在满足条件p pj j00， (1)11mjip时的唯一解时的唯一解 19例例，有一马尔可夫链，其转移状态有两种：有一马尔可夫链，其转移状态有两种：E1E1，E2E2。经计算得出它的一阶转移概率矩阵为经计算得出它的一阶转移概率矩阵为 (1)0.790.210.590.41p当当s=1s=1时，对一切时，对一切i i，j j，pijpij（1 1）0 0满足遍历性定理，故满足遍历性定理，故有。而有。而pjpj可由方程组可由方程组 (1)11(1,2,)1(0)mjiijimjjjpp pjmpp求出求出 2011221212120.

24、790.590.210.411(,0)ppppppppp p对于本例为对于本例为 最后得到最后得到p p2 2=0.26=0.26，p p1 1=0.74=0.74。所以，其极限概率矩阵为。所以，其极限概率矩阵为 0.740.260.740.26p21如果从公式如果从公式P P（k k）=（P P（1 1）k k出发，计算其高阶转移概率出发，计算其高阶转移概率有有 (2)(2)(2)(3)(2)(1)(4)(3)(2)0.750.250.710.290.740.260.740.260.740.260.740.26PPPPPPPPP从各阶转移概率可以看出，其前三阶有所不同，随着阶数从各阶转移概率可以看出，其前三阶有所不同，随着阶数增加，增加，3 3、4 4阶转移概率矩阵相等，等于极限概率矩阵，而阶转移概率矩阵相等，等于极限概率矩阵，而且矩阵中每一列内各元素均相等，即经过若干步转移后，且矩阵中每一列内各元素均