马氏链及其应用PPT演示课件

1、马尔科夫连原理及其建模实例 1.一个简单的例子一个简单的例子 我们知道，人寿保险公司最为关心的是投保人的健康我们知道，人寿保险公司最为关心的是投保人的健康与疾病以及相应的风险。通过下面的例子我们来看保险与疾病以及相应的风险。通过下面的例子我们来看保险公司是如何处理这类问题的。公司是如何处理这类问题的。 问题的提出问题的提出 设设 表示年龄的时段，假定在一年中，今表示年龄的时段，假定在一年中，今年健康而明年患病的概率是年健康而明年患病的概率是 而今年患病明年转为健而今年患病明年转为健康的概率为康的概率为 假设一个人在投保时处于健康状态，我假设一个人在投保时处于健康状态，我们来研究若干年之后他分别

2、处于这两种状态的概率。们来研究若干年之后他分别处于这两种状态的概率。1,2,3,t 0.2,0.7, 建模建模 用随机变量用随机变量 表示第表示第 年的状态，年的状态， nxn12nx表示健康，表示健康，表示疾病。表示疾病。1,2,3,n 以以 表示第表示第 年状态为年状态为 的概率。即的概率。即 nini .nnip xi以以 表示今年状态处于表示今年状态处于 明年状态处于明年状态处于 的概率，即的概率，即ijpij1.ijnnpp xj xi由全概率公式得到：由全概率公式得到： 1, ,1,2.nniinjiii pj pi j即即 11121112,nnnpp 11222212.nnnp

3、p由假设，由假设，111221220.8,0.2,0.7,0.3,pppp再由于投保人处于健康状态，即再由于投保人处于健康状态，即 0011,20.由此得到由此得到 01234110.80.780.7780.77787/20.2220.22222/9nnn若投保人在开始时处于疾病状态，即若投保人在开始时处于疾病状态，即则有则有 0010,21. 01234100.70.770.7770.77777/30.2230.22232/9nnn 从两张表中可以看到，无论投保人在初始时处于什么从两张表中可以看到，无论投保人在初始时处于什么状态，当时间趋于无穷大时，该

4、时刻的状态趋于稳定，状态，当时间趋于无穷大时，该时刻的状态趋于稳定，且与初始值无关。即且与初始值无关。即 72lim1,lim2.99nnnn0.3两种状态的转移概率两种状态的转移概率 意义意义 若将众多投保人处于两种状态的比例，视为投若将众多投保人处于两种状态的比例，视为投保人处于两种状态的概率，例如健康人占保人处于两种状态的概率，例如健康人占3/4，病人占，病人占1/4，即，即 则同样可计算出则同样可计算出 0013/4,21/4, 72lim1,lim2.99nnnn 由上面的分析可以看出，对于给定的状态转移概率，由上面的分析可以看出，对于给定的状态转移概率， 时的

5、状态概率，时的状态概率， 趋向于稳定值，该趋向于稳定值，该值与初始值无关，这是马氏链的重要性质。值与初始值无关，这是马氏链的重要性质。 1 ,2nnn 把人的死亡看作第三种状态，用把人的死亡看作第三种状态，用 来表示，相来表示，相应的转移概率如下图表示。应的转移概率如下图表示。3nx 50.25310.020.1三种状态的转移概率三种状态的转移概率 仍以仍以 表示状态表示状态为为 时的概率，时的概率， 表示状态转移概表示状态转移概率，即有率，即有 1,2,3niiiijp1112132122233132330.8,0.18,0.02,0.65,0.25,0.1,0,1,

6、ppppppppp平行于平行于式，有式，有 11121311123,nnnnppp 11222322123,nnnnpppnnnnppp 设投保人在期初处于健康状态，则由设投保人在期初处于健康状态，则由可计算出若可计算出若干干年后他处于各个状态的概率。年后他处于各个状态的概率。 01233050110.80.7570.72850.26980.012930200.180.1890.18350.06800.03260300.020.0540.08800.66210.83811nnnn 表中最后一列数据是通过预测得到的。从表中的数据表中最后一列数据是通过预测得到的。从表中的

7、数据又可以看到，无论投保人在期初处于什么状态，当又可以看到，无论投保人在期初处于什么状态，当 时，总有时，总有n lim31.nn 2.马尔可夫链马尔可夫链 假设假设 1.系统是随时间的发展而离散为系统是随时间的发展而离散为0,1,2,3,;t 2.在任何时刻，系统的状态为有限多个。在时间在任何时刻，系统的状态为有限多个。在时间 时，时，系统的状态的系统的状态的 的取值为的取值为ts1,2,3,;sn 3.在时刻在时刻 时系统处于各状态的概率只与时刻时系统处于各状态的概率只与时刻 时时系统所处的概率与转移概率有关。系统所处的概率与转移概率有关。1t t 满足以上三个假设的系统的随机发展过程称为

8、马尔可满足以上三个假设的系统的随机发展过程称为马尔可夫过程或马氏链。夫过程或马氏链。 设在时刻设在时刻 时系统处于状态时系统处于状态 的概率为的概率为 ti ,1,2,3, ;1,2,3,.itin t行向量行向量称为状态概率向量，由概率的意义，向量应该满足称为状态概率向量，由概率的意义，向量应该满足 12,ntttt及及 0,1,2, ,0,1,2,.itin t 11. 0,1,2,.niitt 设在时刻设在时刻 处于状态处于状态 的系统转移到的系统转移到 时刻处于时刻处于 的概率为的概率为 它应该满足它应该满足 tisjs1t ,ijp1.0, ,1,2, ,ijpi jn11,1,2,

9、.nijjpin2. 引如概率转移矩阵引如概率转移矩阵111212122212.nnijn nnnnnppppppppppp由假设由假设3，再由全概率公式得，再由全概率公式得 1111221121122222112211.1nnnnnnnnnntt pt pt ptt pt pt ptt pt pt p 用矩阵的方法来表示的话，用矩阵的方法来表示的话，可以写成可以写成 11.nijjijtt p 简单地可以写成简单地可以写成 1.tt p由此可得系统在时刻由此可得系统在时刻 时的状态向量为时的状态向量为t其中其中 为时刻为时刻 时系统的状态概率向量，又称为时系统的状态概率向量，又称为状态初始向

10、量。状态初始向量。 00t 0,ttp例例 在前两例中，初始向量与概率转移矩阵分别为在前两例中，初始向量与概率转移矩阵分别为 00.8,0.2 ,0.80.2,0.70.3p 00.75,0.25,0 ,20.650.250.1 .001p我们通过下面的例子具体说明：我们通过下面的例子具体说明： 21122223321,tt pt pt p上式表明在时刻上式表明在时刻 时投保人处于患病状态的概率时投保人处于患病状态的概率为：为：1t 2112222332121 0.180.25.tt pt pt ptt 从上面的例子中可以看出，对于马氏链模型，最重要从上面的例子中可以看出，

11、对于马氏链模型，最重要的是构造状态的是构造状态 及概率转移矩阵及概率转移矩阵 由此对于给定的初始由此对于给定的初始状态状态 由由可计算出任意时刻可计算出任意时刻 的状态的状态s,p 0 ,t .t 正则链正则链定义定义 一个有一个有 个状态的马氏链，如果存在正整数个状态的马氏链，如果存在正整数 使从任意状态使从任意状态 经经 次的转移，能以大于零的概率到次的转移，能以大于零的概率到达状态达状态 则称这样的链为正则链则称这样的链为正则链.n,n,in,1,2,.ji jn定理定理1 设马氏链的转移矩阵为设马氏链的转移矩阵为 则该链为正则链的则该链为正则链的充分必要条件是存在充分必要条件是存在 使

12、得使得 ,p,n0.np定理定理2 正则链存在唯一的极限状态概率正则链存在唯一的极限状态概率12,nww ww满足满足 与初始状态概率与初始状态概率 无关，且无关，且 lim,ttw w 0及及,wpw11.niiw例例1 设设 0.80.2,0.70.3p则由此确定的马氏链为正则链。令则由此确定的马氏链为正则链。令 满足满足式，即有式，即有12,ww w12120.80.2,0.70.3w ww w由此得到方程组由此得到方程组1211220.80.7,0.20.3wwwwww联系联系则得到则得到1212270,222,wwww故方程组的解为故方程组的解为127 2,.9 9w w这和前面的结

13、果是相吻合的。这和前面的结果是相吻合的。例例2 设设11022111,42411022p因因23118281110,424113848p故由此确定的马氏链是正则链。令故由此确定的马氏链是正则链。令123,ww w w由方程由方程，确定方程组确定方程组121123212311,24111,2221.wwwwwwwwww从方程中解出从方程中解出 即即123111,424www1231 1 1,.4 2 4w w w 吸收链吸收链 定义定义 如果存在某个状态转移概率如果存在某个状态转移概率 则称状态则称状态 是是吸收的吸收的. 如果马氏链中含有吸收状态如果马氏链中含有吸收状态, 并且从每一个非并且从

14、每一个非吸收状态出发都可以达到某个吸收状态，则称这个马氏吸收状态出发都可以达到某个吸收状态，则称这个马氏链为吸收链。链为吸收链。1,iip i 例如在前面三个状态的转移概率中，转移概率矩阵例如在前面三个状态的转移概率中，转移概率矩阵为为20.650.250.1 .001p并且从每个状态最终都转移到第三种状态并且从每个状态最终都转移到第三种状态, 因而这样的因而这样的链是吸收链。链是吸收链。 注注 吸收链的特征是：任一状态一旦进入该状态就吸收链的特征是：任一状态一旦进入该状态就将停留在该状态。将停留在该状态。 含有含有 个吸收状态和个吸收状态和 非吸收状态的吸收链的非吸收状态

15、的吸收链的状态转移概率矩阵的标准形式是状态转移概率矩阵的标准形式是mnm 0,m mn nn mn miprq其中其中 是单位矩阵。是单位矩阵。 0,ri定理定理3 对于具有标准形式的状态转移概率矩阵，有如对于具有标准形式的状态转移概率矩阵，有如下的性质：下的性质： 矩阵矩阵 具有零极限，即具有零极限，即tqlim0.ttq矩阵矩阵 可逆且可逆且iq10.ttiqq记记 则矩阵的第则矩阵的第 行元素之和值是从非行元素之和值是从非吸收状态出发被某个吸收状态吸收之前的平均转移次吸收状态出发被某个吸收状态吸收之前的平均转移次数。数。1,niqii记记 则矩阵则矩阵 的元素的元素 是从非吸收状态是从非

16、吸收状态 出出发而被状态发而被状态 吸收的概率。吸收的概率。bnrbbijij50.65 ,0.020.180.8p 在前面的例在前面的例2中中,将将 改写成改写成p则则0.250.650.1,.2qr则则0.250.650.1,.2qr110.750.650.20.651,80.750.033iq0.20.650.10.03311,0.180.750.020.0330.0330.033b 应用应用 基因遗传问题基因遗传问题 生物的外部特征是由生物体内的基因决定的。基因分生物的外部特征是由生物体内的基因决定的。基因

17、分优势与劣势基因两种。分别表示为优势与劣势基因两种。分别表示为 对于生物的某对于生物的某个外部特征，体内有两个基因与之对应。由于体内的每个外部特征，体内有两个基因与之对应。由于体内的每个基因都可以是两种基因之一，因此体内的基因对类型个基因都可以是两种基因之一，因此体内的基因对类型可能有三种：可能有三种： 分别被称为优种、混种和劣分别被称为优种、混种和劣种。按基因理论：含优种和混种的基因个体类型，其外种。按基因理论：含优种和混种的基因个体类型，其外部特征呈优势；而含劣势基因类型的个体，其外部特征部特征呈优势；而含劣势基因类型的个体，其外部特征呈劣势。呈劣势。 , .d r,.dd dr rr 生

18、物在繁殖时，后代随机地继承父亲和母亲的两个基生物在繁殖时，后代随机地继承父亲和母亲的两个基因中的各一个而形成自己的基因对。因此后代成为优因中的各一个而形成自己的基因对。因此后代成为优种、劣种、混种基因类型的概率是不同的。种、劣种、混种基因类型的概率是不同的。 下面讨论两种基因繁殖后代的情况下面讨论两种基因繁殖后代的情况 一、永远与混种繁殖后代的情况一、永远与混种繁殖后代的情况 假设一个个体是优种，而另一个个体是混种，则它们假设一个个体是优种，而另一个个体是混种，则它们的直接后代成为优种的直接后代成为优种 、混种、混种 、劣种、劣种 的概率分别为的概率分别为dhr1 1,0.2 2 假设一个个体

19、是混种，而另一个个体是混种，则它们假设一个个体是混种，而另一个个体是混种，则它们的直接后代成为优种的直接后代成为优种 、混种、混种 、劣种、劣种 的概率分别为的概率分别为dhr1 1 1,.4 2 4 假设一个个体是劣种，而另一个个体是混种，则它们假设一个个体是劣种，而另一个个体是混种，则它们的直接后代成为优种的直接后代成为优种 、混种、混种 、劣种、劣种 的概率分别为的概率分别为dhr1 10,.2 2由此得到概率转移矩阵由此得到概率转移矩阵11022111,42411022p由前面的例由前面的例2知该链为正则链，极限状态概率向量为知该链为正则链，极限状态概率向量为1231 1 1,.4 2

20、 4w w w 上式表明，经过长时间的繁殖过程，后代的外部特征上式表明，经过长时间的繁殖过程，后代的外部特征呈优势的概率是优种和混种概率的和，这个量与初始的呈优势的概率是优种和混种概率的和，这个量与初始的个体所含基因的种类无关。个体所含基因的种类无关。 2.近亲繁殖的结果近亲繁殖的结果 假设最初的父母可以是优种、混种或劣种，它们有大假设最初的父母可以是优种、混种或劣种，它们有大量的后代，这些后代又随机地雌雄交配后代，今来分析量的后代，这些后代又随机地雌雄交配后代，今来分析它们后代的演变情况。它们后代的演变情况。 由于每次繁殖都是随机地配对父亲和母亲，而父亲和由于每次繁殖都是随机地配对父亲和母亲，而父亲和母亲可以是母亲可以是 中的一种，组合后就有中的一种，组合后就有 六种状态，分别记为六种状态，分别记为当父母都是优种当父母都是优种 时，后代必然是优种时，后代必然是优种 因此有因此有,d h r,dd rr,dh dr hh hr1,2,3,4,5,6.d,d1111,0. 2,3,4,5,6.jppj 同理，当父母都是劣种时，后代只能是劣种，由此得同理，当父母都是劣种时，后代只能是劣种，由此得2221,0. 1,3,4,5,6.jppj 当父母一方为当父母一方为 而另一方为而另一方为 时，当前状态可能是时，当前状态可能是