马氏链模型课件

数学建模第三章线性代数模型数学建模第三章线性代数模型1线性代数模型Durer魔方

植物基因的分布

常染色体的隐性疾病

马尔科夫链模型线性代数模型Durer魔方2四马尔科夫链模型MarkovChainModel课堂讨论四马尔科夫链模型MarkovChainModel课堂3讨论材料1

某商店每月考察一次经营情况，其结果用销路好或销路坏这两种状况之一表示。已知如果本月销路好，下月仍保持这种状况的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。试分析假若开始时商店处于销路好的状况，那么经过若干月后能保持销路好的概率有多大？若开始时商店处于销路坏的状况呢？商店的经营问题讨论材料1某商店每月考察一次经营情况，其结果4推测会有什么结果怎么证明你的结果由此问题想到什么推测会有什么结果怎么证明你的结果由此问题想到什么50123410.50.450.4450.4445？00.50.550.5550.5555？1分析情形1开始经营好0123410.50.450.4450.4445？00.5060123400.40.440.4440.4444？10.60.560.5560.5556？情形2开始经营坏0123400.40.440.4440.4444？10.607不管开始经营情况如何，经过足够长时间后，商店销路不好的概率大于好的概率，好坏的可能是4/9和5/9推测：不管开始经营情况如何，经过足够长时间后，商店8表示销路好；表示销路坏；2问题分析及符号说明商店的经营状况是随机的，每月转变一次。建模目标是经过一段时间（若干月）后，经营状况如何，即经营好或经营坏的概率分别为多少？用随机变量表示第n个月的经营状况称为这个经营系统的状态。用表示第月处于状态的概率，即称为状态概率。表示销路好；表示销路坏；2问题分析及符号说明商店的经营9表示已知这月处于状态下月处于状态的概率，即称为状态转移概率。0.50.40.50.612状态及转移情况图表示已知这月处于状态下月处于状态的概率，即称为状态转移概率。103建模令P概率转移矩阵3建模令P概率转移矩阵114求解P特征值为1，1/10当4求解P特征值为1，1/10当12当当135结论不论初始状态如何，经过相当长的时间后经营状态趋于稳定的概率。注意到经营系统在每个时期所处的状态是随机的，但从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各个时期的状态无关。这种性质称为无后效性，或马尔可夫（Markov）性，即已知现在，将来与历史无关。5结论不论初始状态如何，经过相当长的时间后经营注意到14具有无后效性的，时间、状态均为离散的随机转移过程，通常用马氏链（MarkovChain）模型描述。马氏链模型在经济、社会、生态、遗传等许多领域有广泛应用，不仅可以解决随即转移过程，还可以处理一些确定性系统的状态转移问题。具有无后效性的，时间、状态均为离散的随机转移马氏链模型在经济15健康与疾病问题

人寿保险公司对受保人的健康状况非常关注，需通过大量的数据对状态转变的概率作出估计，才能制定出不同年龄、不同健康状况的人的保险金和理赔金数额。假定对某一年龄段的人，今年健康、明年保持健康状态的概率为0.8，即明年转为疾病状态的概率为0.2；而今年患病、明年转为健康状态的概率为0.7，即明年保持疾病状态的概率为0.3。如果一个人投保时处于健康状态，研究若干年后他分别处于两种状态的概率。讨论材料2健康与疾病问题人寿保险公司对受保人的健康状况16比较材料1与材料2的结果，你能得出什么结论？人寿保险公司考虑到人的死亡情况，把死亡作为第三种状态情况如何？比较材料1与材料2的结果，你能得出什么结论？人寿保险公司考虑170.20.70.80.3120.20.70.80.31218经计算0123410.80.780.7780.77787/900.20.220.2220.22222/90123400.70.770.7770.77777/900.30.230.2230.22232/9经计算0123410.80.780.7780.77787/9190.02问题的进一步考虑人寿保险公司考虑到人的死亡情况，把死亡作为第三种状态，用表示。0.180.650.80.251230.10.02问题的进一步考虑人寿保险公司考虑到人的死亡情况，把死20设表示状态概率，表示状态转移概率，,其值见上图。第年的状态概率可由全概率公式得到：建模设表示状态概率，表示状态转移概率，,其值见上图。第年的状态概21第年的状态概率可由全概率公式得到：第年的状态概率可由全概率公式得到：22经计算0123305010.80.7570.72850.26980.1293000.180.1890.18350.06800.0326000.020.0540.08800.66210.83811如果设初始状态概率为则当时，的趋向与上表相同。结论：不管初始状态如何，最终都要转到状态3，这代表了另一种重要的马氏链类型。经计算0123305010.80.7570.72850.2623，当它的所有分量是非负，一般地，一个行向量且行和为1，称此向量为概率向量。每行都为概率向量的矩阵，称为概率转移矩阵。正则链吸收链，当它的所有分量是非负，一般地，一个行向量且行和为1，称此向24定义1

一个有个状态的马氏链如果存在正整数使从任意状态经过次转移都以大于零的概率到达状态，则称为正则链。特点从任意状态出发经过有限次转移都能到达另外的任意状态。定义1一个有个状态的马氏链如果存在正整数使从任意状态经25定义2

转移概率的状态称为吸收状态。如果马氏链至少包含一个吸收状态，并且从每一个非吸收状态出发，能以正的概率经有限次转移到达某个吸收状态，那么这个马氏链称为吸收链。吸收链的转移矩阵的标准形式：个吸收状态，其中，阶子方阵的特征值满足个非吸收态定义2转移概率的状态称为吸收状态。如果马氏链至少包含一26定理1若马氏链的转移矩阵为，则它是正则链的充要条件是，存在正整数使（指的每一元素大于零）。（用这个定理检验一个马氏链是否为正则链。）西北大学数学系定理1若马氏链的转移矩阵为，则它是正则链的充要条件是，27定理2由存在，记作的每一行都是稳态概率使得当时状态概率概率无关。正则链存在唯一的极限状态概率与初始状态由又称为稳态概率。西北大学数学系定理2由存在，记作的每一行都是稳态概率使得当时状态概率概率无28上例中西北大学数学系上例中西北大学数学系29马氏链模型的应用马氏链模型的应用301信息传播问题一条消息在等人中传播，传播的方式是传给传给如此继续下去，每次传播都是由传给每次传播消息的失真率为即将消息传给时，传错的概率为这样经过长时间传播第n个人得知消息时，消息的真实程度如何？西北大学数学系1信息传播问题一条消息在等人中传播，传播的方式是传给传31第n个人知道消息可能是真，也可能是假，有两种状态，记为表示消息假；表示消息真；用表示第个人处于状态的概率，即状态概率为由题意，状态转移概率矩阵为西北大学数学系第n个人知道消息可能是真，也可能是假，有两种状态，记为表示消32由为正则矩阵。求w=?令设西北大学数学系由为正则矩阵。求w=?令设西北大学数学系33得西北大学数学系得西北大学数学系34结论长时间传播消息的真实性趋于稳定，且消息的真假概率各半。例1中西北大学数学系结论长时间传播消息的真实性趋于稳定，且消例1中西北大学数学352迷宫问题（1）下面给出一个迷宫图。迷宫有两个分隔间，分别记为1，2。每个分隔间粉刷成不同的颜色，试验者把一只老鼠放在迷宫的某个分隔间内，不同的颜色对老鼠的吸引作用不同，从第i个分隔间转移到第j个分隔的概率为迷宫112西北大学数学系问题：老鼠运动会趋于稳定吗？2迷宫问题（1）下面给出一个迷宫图。迷宫有两个分隔间36三个分隔间的情形如何？迷宫2123西北大学数学系三个分隔间的情形如何？迷宫2123西北大学数学系37迷宫3231在第一个分隔间放进实物，其他两个分隔间粉成不同的颜色，老鼠可由一个分隔间到达其他分隔间，但当到达第一分隔间时，被实物吸引，不再运动到其他分隔间，已知转移矩阵P，长时间后，老鼠运动状态如何？迷宫问题（2）西北大学数学系迷宫3231在第一个分隔间放进实物，其他两个分隔间粉成不同的38迷宫问题（2）问题（1）经过n次观察后，老鼠处于各个分隔间的概率？（2）长时间运动后，老鼠的运动状态如何？（3）若再增加一个放食物的分隔间，情况又如何？西北大学数学系迷宫问题（2）问题（1）经过n次观察后，老鼠处于各个分隔间的391）分析时间的离散性每个时段状态的随机性处于第i个状态的概率若转移概率矩阵为P西北大学数学系1）分析时间的离散性每个时段状态的随机性处于第i个状态的概402）马氏链模型可以看出，老鼠从第2，3个分隔间可以以大于零的概率达到每个分隔间，但从第1个分隔间，不能以大于零的概率达到其他分隔间。猜测：最后老鼠停留在第1个分隔间。3）求解计算求西北大学数学系2）马氏链模型可以看出，老鼠从第2，3个分隔间可以以大于零41记西北大学数学系记西北大学数学系42西北大学数学系西北大学数学系43由于从第2，3个分隔间总是以大于零的概率达到第1个分隔间，又由记西北大学数学系由于从第2，3个分隔间总是以大于零的概率达到第1个分隔间，又44本例中西北大学数学系本例中西北大学数学系454）结论不论初始老鼠处在那个分隔间，长时间运动后，老鼠处在第1个分隔间的概率为1，其他的概率为零。状态1为吸收态，2，3为非吸收态。西北大学数学系4）结论不论初始老鼠处在那个分隔间，长时间运动后，老鼠处在第465）问题的进一步考虑增加一个放食物的分隔间。注：1，2分隔间放食物，3，4分隔间涂色。西北大学数学系5）问题的进一步考虑增加一个放食物的分隔间。注：1，2分隔间47记西北大学数学系记西北大学数学系48西北大学数学系西北大学数学系49初始极限初始极限西北大学数学系初始极限初始极限西北大学数学系50结论若初始老鼠处在1，2分隔间，长时间运动后，老鼠仍处在1，2分隔间；若初始老鼠处在第3，4分隔间，则经长时间运动后，在分隔间3，4的概率为零，而以正概率分别进入1，2分隔间。即无论初始状态如何，经过长时间后，都将被吸收态吸收。西北大学数学系结论若初始老鼠处在1，2分隔间，长时间运动后，老鼠仍处在1，513空气污染问题有k个城市，每一时刻t=0,1,2,…,的空气中污染物浓度，从t到t+1，空气中污染物扩散到去的比例是，有扩散到k个城市之外的那部分污染物永远不再回来。西北大学数学系在每个时刻各城市的污染源都排出一定的污染物，记排出的为。按照环境管理条例要求，对充分大的t必须。3空气污染问题有k个城市52试建立马氏链模型，在已知和的条件下确定的限制范围，满足管理条例的要求。设k=3,由以下矩阵给出求的限制范围。试建立马氏链模型，在已知和的条件下确53上机实习三姜启源：P.353资金流通问题上机实习三姜启源：P.353资金流通问题54数学建模第三章线性代数模型数学建模第三章线性代数模型55线性代数模型Durer魔方

植物基因的分布

常染色体的隐性疾病

马尔科夫链模型线性代数模型Durer魔方56四马尔科夫链模型MarkovChainModel课堂讨论四马尔科夫链模型MarkovChainModel课堂57讨论材料1

某商店每月考察一次经营情况，其结果用销路好或销路坏这两种状况之一表示。已知如果本月销路好，下月仍保持这种状况的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。试分析假若开始时商店处于销路好的状况，那么经过若干月后能保持销路好的概率有多大？若开始时商店处于销路坏的状况呢？商店的经营问题讨论材料1某商店每月考察一次经营情况，其结果58推测会有什么结果怎么证明你的结果由此问题想到什么推测会有什么结果怎么证明你的结果由此问题想到什么590123410.50.450.4450.4445？00.50.550.5550.5555？1分析情形1开始经营好0123410.50.450.4450.4445？00.50600123400.40.440.4440.4444？10.60.560.5560.5556？情形2开始经营坏0123400.40.440.4440.4444？10.6061不管开始经营情况如何，经过足够长时间后，商店销路不好的概率大于好的概率，好坏的可能是4/9和5/9推测：不管开始经营情况如何，经过足够长时间后，商店62表示销路好；表示销路坏；2问题分析及符号说明商店的经营状况是随机的，每月转变一次。建模目标是经过一段时间（若干月）后，经营状况如何，即经营好或经营坏的概率分别为多少？用随机变量表示第n个月的经营状况称为这个经营系统的状态。用表示第月处于状态的概率，即称为状态概率。表示销路好；表示销路坏；2问题分析及符号说明商店的经营63表示已知这月处于状态下月处于状态的概率，即称为状态转移概率。0.50.40.50.612状态及转移情况图表示已知这月处于状态下月处于状态的概率，即称为状态转移概率。643建模令P概率转移矩阵3建模令P概率转移矩阵654求解P特征值为1，1/10当4求解P特征值为1，1/10当66当当675结论不论初始状态如何，经过相当长的时间后经营状态趋于稳定的概率。注意到经营系统在每个时期所处的状态是随机的，但从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各个时期的状态无关。这种性质称为无后效性，或马尔可夫（Markov）性，即已知现在，将来与历史无关。5结论不论初始状态如何，经过相当长的时间后经营注意到68具有无后效性的，时间、状态均为离散的随机转移过程，通常用马氏链（MarkovChain）模型描述。马氏链模型在经济、社会、生态、遗传等许多领域有广泛应用，不仅可以解决随即转移过程，还可以处理一些确定性系统的状态转移问题。具有无后效性的，时间、状态均为离散的随机转移马氏链模型在经济69健康与疾病问题

人寿保险公司对受保人的健康状况非常关注，需通过大量的数据对状态转变的概率作出估计，才能制定出不同年龄、不同健康状况的人的保险金和理赔金数额。假定对某一年龄段的人，今年健康、明年保持健康状态的概率为0.8，即明年转为疾病状态的概率为0.2；而今年患病、明年转为健康状态的概率为0.7，即明年保持疾病状态的概率为0.3。如果一个人投保时处于健康状态，研究若干年后他分别处于两种状态的概率。讨论材料2健康与疾病问题人寿保险公司对受保人的健康状况70比较材料1与材料2的结果，你能得出什么结论？人寿保险公司考虑到人的死亡情况，把死亡作为第三种状态情况如何？比较材料1与材料2的结果，你能得出什么结论？人寿保险公司考虑710.20.70.80.3120.20.70.80.31272经计算0123410.80.780.7780.77787/900.20.220.2220.22222/90123400.70.770.7770.77777/900.30.230.2230.22232/9经计算0123410.80.780.7780.77787/9730.02问题的进一步考虑人寿保险公司考虑到人的死亡情况，把死亡作为第三种状态，用表示。0.180.650.80.251230.10.02问题的进一步考虑人寿保险公司考虑到人的死亡情况，把死74设表示状态概率，表示状态转移概率，,其值见上图。第年的状态概率可由全概率公式得到：建模设表示状态概率，表示状态转移概率，,其值见上图。第年的状态概75第年的状态概率可由全概率公式得到：第年的状态概率可由全概率公式得到：76经计算0123305010.80.7570.72850.26980.1293000.180.1890.18350.06800.0326000.020.0540.08800.66210.83811如果设初始状态概率为则当时，的趋向与上表相同。结论：不管初始状态如何，最终都要转到状态3，这代表了另一种重要的马氏链类型。经计算0123305010.80.7570.72850.2677，当它的所有分量是非负，一般地，一个行向量且行和为1，称此向量为概率向量。每行都为概率向量的矩阵，称为概率转移矩阵。正则链吸收链，当它的所有分量是非负，一般地，一个行向量且行和为1，称此向78定义1

一个有个状态的马氏链如果存在正整数使从任意状态经过次转移都以大于零的概率到达状态，则称为正则链。特点从任意状态出发经过有限次转移都能到达另外的任意状态。定义1一个有个状态的马氏链如果存在正整数使从任意状态经79定义2

转移概率的状态称为吸收状态。如果马氏链至少包含一个吸收状态，并且从每一个非吸收状态出发，能以正的概率经有限次转移到达某个吸收状态，那么这个马氏链称为吸收链。吸收链的转移矩阵的标准形式：个吸收状态，其中，阶子方阵的特征值满足个非吸收态定义2转移概率的状态称为吸收状态。如果马氏链至少包含一80定理1若马氏链的转移矩阵为，则它是正则链的充要条件是，存在正整数使（指的每一元素大于零）。（用这个定理检验一个马氏链是否为正则链。）西北大学数学系定理1若马氏链的转移矩阵为，则它是正则链的充要条件是，81定理2由存在，记作的每一行都是稳态概率使得当时状态概率概率无关。正则链存在唯一的极限状态概率与初始状态由又称为稳态概率。西北大学数学系定理2由存在，记作的每一行都是稳态概率使得当时状态概率概率无82上例中西北大学数学系上例中西北大学数学系83马氏链模型的应用马氏链模型的应用841信息传播问题一条消息在等人中传播，传播的方式是传给传给如此继续下去，每次传播都是由传给每次传播消息的失真率为即将消息传给时，传错的概率为这样经过长时间传播第n个人得知消息时，消息的真实程度如何？西北大学数学系1信息传播问题一条消息在等人中传播，传播的方式是传给传85第n个人知道消息可能是真，也可能是假，有两种状态，记为表示消息假；表示消息真；用表示第个人处于状态的概率，即状态概率为由题意，状态转移概率矩阵为西北大学数学系第n个人知道消息可能是真，也可能是假，有两种状态，记为表示消86由为正则矩阵。求w=?令设西北大学数学系由为正则矩阵。求w=?令设西北大学数学系87得西北大学数学系得西北大学数学系88结论长时间传播消息的真实性趋于稳定，且消息的真假概率各半。例1中西北大学数学系结论长时间传播消息的真实性趋于稳定，且消例1中西北大学数学892迷宫问题（1）下面给出一个迷宫图。迷宫有两个分隔间，分别记为1，2。每个分隔间粉刷成不同的颜色，试验者把一只老鼠放在迷宫的某个分隔间内，不同的颜色对老鼠的吸引作用不同，从第i个分隔间转移到第j个分隔的概率为迷宫112西北大学数学系问题：老鼠运动会趋于稳定吗？2迷宫问题（1）下面给出一个迷宫图。迷宫有两个分隔间90三个分隔间的情形如何？迷宫2123西北大学数学系三个分隔间的情形如何？迷宫2123西北大学数学系91迷宫3231在第一个分隔间放进实物，其他两个分隔间粉成不同的颜色，老鼠可由一个分隔间到达其他分隔间，但当到达第一分隔间时，被实物吸引，不再运动到其他分隔间，已知转移矩阵P，长时间后，老鼠运动状态如何？迷宫问题（2）西北大学数学系迷宫3231在第一个分隔间放进实物，其他两个分隔间粉成不同的92迷宫问题（2）问题（1）经过n次观察后，老鼠处于各个分隔间的概率？（2）长时间运动后，老鼠的运动状态如何？（3）若再增加一个放食物的分隔间，情况又如何？西北大学数学系迷宫问题（2）问题（1）经过n次观察后，老鼠处于各个分隔间的931）分析时间的离散性每个时段状态的随机性处于第i个状态的概率若转移概率矩阵为P西北大学数学系1）分析时间的离散性每个时段状态的随机性处于第i个状态的概942）马氏链模型可以看出，老鼠从第2，3个分隔间可以以大于零的概率达到每个分隔间，但从第1个分隔间，不能以大于零的概率达到其他分隔间。猜测：最后老鼠停留在第1个分隔间。3）求解计算求西北大学数学系2）马氏链模型可以看出，老鼠从第2，3个分隔间可以以大于零