markov模型PPT课件

1、.,1,马尔科夫链数学模型,2011270004 罗文,.,2,本PPT的主要内容,一、Markov数学模型建立的背景 二、 Markov数学模型建模的过程 三、 Markov数学模型应用介绍,.,3,一、Markov数学模型建立的背景,1. Markov数学模型的建立者马尔可夫 安德烈马尔可夫，1856年6月14日 生于梁赞，1922年7月20日卒于圣彼得堡。 1874年入圣彼得堡大学，受P.L.切比雪夫 思想影响很深。1878年毕业，并以用连 分数求微分方程的积分一文获金质奖章。两年后， 取得硕士学位 ，并任圣彼得堡大学副教授。1884年取 得物理-数学博士学位，1886 年任该校教授。1

2、896被 选为圣彼得堡科学院院士。1905年被授予功勋教授号。,.,4,一、Markov数学模型建立的背景,1. Markov数学模型的建立者马尔可夫 马尔可夫是彼得堡数学学派的代表人物。以数论和概率论方面的工作著称。他的主要著作有概率演算等。在数论方面，他研究了连分数和二次不定式理论 ，解决了许多难题 。在概率论中，他发展了矩法，扩大了大数律和中心极限定理的应用范围。马尔可夫最重要的工作是在19061912年间，提出并研究了一种能用数学分析方法研究自然过程的一般图式马尔可夫链。同时开创了对一种无后效性的随机过程马尔可夫过程的研究。马尔可夫经多次观察试验发现，一个系统的状态转换过程中第n次转换

3、获得的状态常决定于前一次（第（n-1）次）试验的结果。马尔可夫进行深入研究后指出：对于一个系统，由一个状态转至另一个状态的转换过程中，存在着转移概率，并且这种转移概率可以依据其紧接的前一种状态推算出来，与该系统的原始状态和此次转移前的马尔可夫过程无关。目前，马尔可夫链理论与方法已经被广泛应用于自然科学、工程技术和公用 事业中。,.,5,一、Markov数学模型建立的背景,2. Markov链的原理简介 马尔可夫链是具有马尔科夫性质的随机变量X_1,X_2,X_3.的一个数列。这些变量的范围，即它们所有可能取值的集合，被称为“状态空间”，而X_n的值则是在时间n的状态。如果X_n+1对于过去状态

4、的条件概率分布仅是X_n的一个函数，则 P(X_n+1=x|X_1=x_1, X_2=x_2, ., X_n=x_n) = P(X_n+1=x|X_n=x_n). 这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。,.,6,一、Markov数学模型建立的背景,3. Markov链的理论发展 马尔可夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。 马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。 物理马尔可夫链通常用来建模排队理

5、论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码（著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。,.,7,一、Markov数学模型建立的背景,4. Markov数学模型可行性 世界上的一切事物都在随时间而变化，譬如某一地区气候指标气温和湿度的变化；体血液循环，心脏搏动每次的血压与排血量；神经细胞兴奋或抑制的传递；生物世代交替过程中遗传性状的表现所有变化着的事物表现状态可能是数值的、非数值的、连续的、离散的。在这种情

6、况下，我们需建立一种研究的是一类重要的随机过程，研究对象的状 态s(t)是不确定的，它可能 取K种 状态si(i=1,k)之一，有时甚至可取无穷多种状态的模型，而这种模型就是Markov数学模型。在建模时，时间变量也被离散化，我们希望通过建立两个相邻时刻研究对象取各种状态的概率之间的联系来研究其变化规律，故马氏链研究的也是一类状态转移问题。,.,8,过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时刻tt0所处状态的条件分布与过程在时刻t0之前所处的状态无关。 通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。,二、 Markov数学模型建模的过程,马尔可夫性(

7、无后效性),用分布函数表述马尔可夫性：,1、Markov链的定义,.,9,则称 为离散时间、离散状态的马尔可夫过程，或简称为马尔可夫链。,.,10,【例】 细胞分裂实验,.,11,设 是马尔可夫链，对任意的 ，计算 的联合分布律,2、转移概率,即马尔可夫链 的有限维分布完全由初始分布 和 条件概率 确定.,.,12,注,当 固定时，一步转移概率 实质上就是在 的条件下，随机变量 的条件分布律，所以条件分布律满足：,.,13,若马尔科夫链 的状态空间是有限集，则称 为有限状态的马尔科夫链；,若马尔科夫链 的状态空间是可列集，则称 为可列状态的马尔科夫链.,.,14,记 .称 为齐次马尔可夫链的初

8、始分布.,齐次马尔科夫链的有限维分布族完全由其一步转移概率矩阵 和初始分布 确定.,则称矩阵 为齐次马尔科夫链的一步转移概率矩阵.,定义3 设 是齐次马尔可夫链，其一步转移概率为 ，记,.,15,例1 (一个简单的疾病死亡模型),3、马氏链的例子,.,16,马氏链的基本方程,基本方程,.,17,马氏链的两个重要类型,1. 正则链 从任一状态出发经有限次转移能以正概率到达另外任一状态。,w 稳态概率,.,18,马氏链的两个重要类型,2. 吸收链 存在吸收状态（一旦到达就不会离开的状态i, pii=1）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态。,有r个吸收状态的吸收链的转移概率阵

9、标准形式,R有非零元素,yi 从第 i 个非吸收状态出发，被某个吸收状态吸收前的平均转移次数。,.,19,.,20,“随机”,.,21,具有r个吸收状态，nr个非吸收状态的吸收链，它的nn转移矩阵的标准形式为,（注：非标准形式可经对状态重新编号 ）,其中Ir为r 阶单位阵，O为rs零阵，R为sr 矩阵，S为ss矩阵。令,上式中的子阵Sn表达了以任何非吸收状态作为初始状态，经过n步转移后，处于s个非吸收状态的概率。 在吸收链中，令F=(IS) -1，称F为基矩阵。,.,22,.,23,（a）假设：令n=0,1,2,。 （i）设an,bn和cn分别表示第n代植物中，基因型 为AA,Aa和aa的植物

10、占植物总数的百分比 。令x (n)为第n代植物的基因型分布：,当n=0时,表示植物基因型的初始分布（即培育开始时的分布）,三、 Markov数学模型应用介绍,.,24,（b）建模 根据假设(ii)，先考虑第n代中的AA型。由于第n1代的AA型与AA型结合。后代全部是AA型；第n1代的Aa型与AA型结合，后代是AA型的可能性为 1/2，而 第n1代的aa型与AA型结合，后代不可能 是AA型。因此当n=1,2时,即,类似可推出,cn=0,显然有 （ii）第n代的分布与 第n1代的分布之间的关系是确定的。,(2.2),(2.3),(2.4),.,25,将（2.2）、（2.3）、（2.4）式相加，得,

11、根据假设(I)，可递推得出：,对于(2.2)式(2.3)式和(2.4)式，我们采用矩阵形式简记为,其中,（注：这里M为转移矩阵的位置）,(2.5),.,26,由（2.5）式递推，得,(2.6),（2.6）式给出第n代基因型的分布与初始分布的关系。 为了计算出Mn，我们将M对角化，即求出可逆矩 阵P和对角库D，使 M=PDP-1 因而有 Mn=PDnP-1, n=1,2, 其中,这里 ， ， 是矩 阵M的三个特征值。对于 (2.5)式中的M，易求得它的特征值和特征向量： =1， =1/2， =0,.,27,因此,所以,通过计算，P-1=P，因此有,.,28,即,.,29,所以有,即在极限的情况下

12、，培育的植物都 是AA型。 若在上述问题中，不选用基 因AA型的植物与每一植物结合，而是将具有相同基因型植物相结合，那么后代具有三种基因型的概率如 表所示。,.,30,M的特征值为,通过计算，可以解出与 、 相对应的两个线性无关的特征向量e1和e2，及与相对应的特征内 量e3：,因此,.,31,解得：,，所以,因此，如果用基因 型相同的植物培育 后代，在极限情况 下，后代仅具有基 因AA和aa。,.,32,.,33,现在，我们考虑在控制结合的情况下，如何确定后代中隐性患者的概率。,.,34,（b）建模 由假设（iii），从第n1代到第n代基因型分布的变化取 决于方程,所以,，其中,如果初始分

13、布x(0)已知，那么 第n代基因型分布为,解 将M对角化，即求出特征值及其所对应的特征向量，得,.,35,计算,=,(3.8),，,隐性患者逐渐消失。 从(3.8)式中可知,每代隐性患者的概率是前一代隐性患者概率的1/2。,(3.9),.,36,（c）模型讨论 研究在随机结合的情况下，隐性患者的变化是很有意思的，但随机结合导致了非线性化问题，超出了本章范围，然而用其它技巧，在随机结合的情况下可以 把（3.9）式改写为,(3.10),.,37,.,38,（群体的近交系数） 设某群体中存在近亲婚配现象，称各种近交系数的数学期望为该群体的近交系数。例如，某村镇共有2000对婚配关系，其中有59对表亲

14、，22对半堂亲 和28对从表亲，则该村镇的近亲系数为,现在，我们来研究近亲结 婚会产生什么结果。,设某基因对由 A、a两种基因组成，出 现A的概率为p，出现a的概率为q=1-p。在随机交配群体中，其子女 为AA、Aa及aa型的概率分别 为p2、2pq及q2。 对近交系数 为F的群体，根据条件概率公式，后代出 现aa型基因对的概率为,.,39,比较存在近亲交配的群体与不允许近亲交配 (F=0)的群体， 令,若a为某种隐性疾病的基因，易见，在近交群体中，后代产 生遗传病（aa型）的概率增大了， 且F越大，后代患遗传病 的概率也越大。,同样，后代出现AA型基因对的概率 为p2+Fpq。Aa型不可能 是共同祖先同一基因的重复，故其出现的概率为2pq(1-F)。,.,40,例如，苯丙酮尿症是一种隐性基因纯合子 aa型疾病（a为隐性疾病基因），隐性基因出现的频率 ，求表 兄妹结婚及非近亲结婚的子女中患有苯丙酮尿症的概率。 由前，表兄妹结婚的近交系数为 1/16,故其子女发生该疾病的概率为 而对禁止近亲结